Ni siquiera la pereza es segura.

Es poco probable que las empresas creen IA «perezosas», porque la IA es una industria competitiva y esa no es la mejor forma de obtener beneficios. Los usuarios no querrán que la IA sea perezosa a la hora de satisfacer sus solicitudes, y la empresa no querrá que la IA sea perezosa a la hora de maximizar el compromiso y el apego de los usuarios, o a la hora de pensar mejor y con más claridad.

Pero incluso si las empresas intentaran hacer que la IA fuera robustamente «perezosa», es de esperar que fracasaran, porque nadie sabe cómo orientar de forma robusta una IA hacia cualquier cosa de una manera que probablemente se traslade a la superinteligencia, como comentamos en el capítulo 4.

Además, una pereza robusta parece un objetivo especialmente difícil de alcanzar.

Sin embargo, incluso si se superaran todos esos obstáculos, la «IA perezosa» no basta por sí sola para evitar el desastre una vez que las IA alcancen capacidades superiores a las humanas.

Imaginemos a una persona muy perezosa, alguien que odia hacer el más mínimo esfuerzo adicional al necesario. Parece una persona con la que es seguro estar, ¿cierto?

Ahora imagina qué pasaría si esta persona perezosa viera una forma fácil de crear una mente mucho más trabajadora a la cual delegar todo su trabajo.

Incluso si una superinteligencia perezosa no odiara tanto el trabajo —incluso si simplemente hiciera lo necesario para completar el trabajo y luego se detuviera, sin esforzarse en minimizar el trabajo—, probablemente le resultaría igual de fácil completar la tarea construyendo una mente más trabajadora para realizarla, una vez que fuera lo suficientemente inteligente.

En un contexto técnico, podríamos expresar este punto de la siguiente manera: «Las IA que buscan soluciones suficientes no son un equilibrio estable». Incluso si la IA no quisiera esforzarse mucho, no tendría ningún reparo en crear una nueva IA que sí se esforzara. Ni siquiera le importaría modificarse a sí misma para «curarse» de su pereza, siempre y cuando hubiera una forma suficientemente perezosa de hacerlo.