En parte, porque es realista.

Prevemos que las empresas reales cometan aún más errores que Galvanic. Eso encajaría con la tendencia de las empresas de IA modernas, tal como se explica en las notas finales de la segunda parte del libro.

En la vida real, esperamos que los errores corporativos aparezcan antes, sean más numerosos y, en cierto sentido, más estúpidos. Las empresas modernas de IA ya están tomando IA que presentan numerosas señales de advertencia, y están ampliando su escala masivamente a pesar de no saber dónde se encuentran los umbrales críticos ni si van a cruzar uno. Hoy no están siendo paranoicos al respecto. ¿Por qué deberíamos esperar que de repente empiecen a serlo mañana?

(Recordemos cómo, en el pasado, la gente nos aseguraba que nadie sería tan tonto como para conectar una IA avanzada a Internet. Es fácil decir que el comportamiento de las empresas cambiará en el futuro. Pero no se corresponde con los hechos).

En parte, porque es más fácil de escribir.

Como explicamos en un aparte del capítulo 7, podríamos contar una historia en la que todos fueran mucho más paranoicos y cautelosos, hasta que una IA mucho más inteligente lograra escapar mucho más adelante en el juego. Pero una historia así no solo sería menos realista, dado el comportamiento observado hasta la fecha de las empresas de IA, sino que también sería más difícil de escribir, ya que implicaría IA aún más inteligentes y capaces en un futuro aún más lejano. (Véase también por qué queríamos escribir una historia en la que Sable se mantuviera relativamente tonta durante el mayor tiempo posible.)

En parte, porque va a suceder en algún momento, a menos que la humanidad se detenga.

Incluso si Galvanic (o algún actor gubernamental) lograra mantener las riendas durante más tiempo antes de cometer algún desliz, no importaría a largo plazo. Como se expuso en el capítulo 4, las técnicas modernas de IA no dan como resultado IA que persigan los fines que desean sus inventores.

Mientras nadie sepa cómo crear una superinteligencia que persiga de forma real y robusta un futuro maravilloso, en lugar de un montón de cosas extrañas, es un hecho que subvertir a los humanos permitiría a la IA conseguir más de lo que persigue. La cuestión no es que la IA tenga un temperamento caprichoso que se pueda corregir; una vez que sea lo suficientemente inteligente, reconocerá ese hecho.

Si la humanidad sigue creando IA cada vez más inteligentes sin ser capaz de alinearlas, y si les sigue dando el poder de afectar al mundo, estas acabarán descubriendo cómo hacerlo de manera que sirva a sus fines en lugar de a los nuestros. Como decimos en otra parte, no existen herramientas que solo puedan utilizarse con fines buenos.

Véanse también los capítulos 10 y 11 para un análisis de lo difícil que es resolver el problema de la alineación y de que la humanidad no va por buen camino para lograrlo.

Pero este es justo el punto en el que hay que intervenir. Hay que detener la historia antes de que realmente tenga la oportunidad de comenzar.

Podrías objetar que es imprudente y descabellado que cualquier corporación desarrolle una IA más inteligente si esta tiene alguna posibilidad de ser más lista que ellos y escapar, y si no están seguros de que vaya a actuar como pretenden.

¡Estamos de acuerdo! Las empresas de IA deberían dejar de hacerlo. La civilización no debería seguir permitiéndolo.

La imprudencia de Galvanic, y de la humanidad en general, es uno de los puntos más débiles de la historia. Si Galvanic se hubiera dado cuenta de que Sable era manipuladora y con frecuencia trataba de escapar del control, y estaba alcanzando niveles de inteligencia sin precedentes, simplemente podrían no haber conectado tantas GPU y, en su lugar, haber esperado hasta tener una ciencia sólida y madura de alineación de la IA.

Las empresas de IA que fueran suficientemente cautelosas, que estuvieran suficientemente preocupadas por que sus IA se descontrolaran, serían mucho más paranoicas que Galvanic. Las empresas que fueran lo suficientemente paranoicas verían las señales de advertencia y apagarían a Sable inmediatamente. Entonces tal vez probarían otros tres planes ingeniosos y verían que todavía había señales de advertencia.

Y si fueran lo suficientemente paranoicas como para evitar matar a todos los habitantes de la Tierra con sus propias manos, en ese momento darían marcha atrás por completo, en lugar de seguir probando ideas «cada vez más ingeniosas» hasta que las señales de advertencia dejaran de aparecer. (Véanse también los capítulos 10 y 11 para conocer los motivos por los que el problema es tan difícil. No esperamos que sus ingeniosas ideas funcionen).

Si las empresas de IA fueran tan cautelosas, tan paranoicas, que estuvieran dispuestas a dar marcha atrás ante las advertencias, entonces sí, podrían evitar matarnos a todos con sus propias manos. Si además fueran lo suficientemente valientes como para promover públicamente que todas las empresas de IA, incluidas ellas mismas, deberían cerrarse para que la humanidad encuentre otra vía tecnológica menos suicida, entonces tendrían la oportunidad de mejorar el mundo en lugar de empeorarlo.

El momento de la historia en que Galvanic continúa a pesar de las señales de advertencia es, en cierto sentido, el último momento en que la humanidad tiene una oportunidad real de evitar un final funesto como el que describimos. Una vez que una IA superhumana con preferencias extrañas y ajenas se escapa, ya es demasiado tarde.