Sí.

Algunas características únicas del desafío de la alineación de la IA lo harán más fácil que, por ejemplo, diseñar una central nuclear. Otras características lo harán más difícil. En general, las armas nucleares y las centrales nucleares parecen drásticamente más sencillas de gestionar que la IA más inteligente que los humanos.

Los expertos del sector se apresuran a señalar que se puede pedir a la propia IA que ayude con el reto de la alineación de la IA. Pero no creemos que eso vaya a importar demasiado (en términos generales, porque cualquier IA lo suficientemente inteligente como para descubrir cómo alinear una superinteligencia es tan peligrosa que ya necesita ser alineada; véase el capítulo 11 para un análisis más detallado).

Otra forma en que alinear la IA podría ser más fácil que diseñar centrales nucleares es que los humanos podrían tener un grado bastante alto de control sobre el funcionamiento de las IA que construyen. No se pueden elegir los principios físicos que rigen un reactor nuclear, pero al diseñar IA, los humanos podrían tomar muchas decisiones sobre la dinámica cognitiva de esta, si supieran exactamente lo que están haciendo. (Aunque, por supuesto, nadie está ni cerca de ese nivel de comprensión en la vida real, como se analiza en el capítulo 2).

En cuanto a las razones por las que la IA probablemente sea un desafío más difícil que otros que ha afrontado la humanidad, comparemos la superinteligencia artificial con las armas nucleares. Después de todo, la carta abierta mencionada al principio de este libro reza: «Mitigar el riesgo de extinción a causa de la IA debería ser una prioridad global, junto con otros riesgos a escala social, como las pandemias y la guerra nuclear». ¿Cómo se posiciona la IA frente a esos otros riesgos a escala social?

Francamente, creemos que esta comparación trivializa la IA, por varias razones:

1. La inteligencia de las armas nucleares no es superior a la de la humanidad.
2. Las armas nucleares no se replican por sí mismas.
3. Las armas nucleares no se mejoran a sí mismas.
4. La mayoría de los escenarios realistas de guerra nuclear no implican la extinción total de la humanidad; muy probablemente, quedarían personas entre las ruinas para reconstruir.
5. Las empresas respaldadas por capital de riesgo no están ampliando la escala de los arsenales mundiales de armas nucleares por un factor de diez cada año.
6. La ciencia de las armas nucleares se comprende bastante bien. Los ingenieros pueden calcular aproximadamente la potencia de un arma nuclear antes de construirla y saben con exactitud la concentración de material fisible necesaria para desencadenar la reacción en cadena que conduce a una detonación cataclísmica.
7. Las armas nucleares no hacen sus propios planes. Si un país construye un arma nuclear, esta le pertenece. Sus científicos no tienen que preocuparse de que el arma se vuelva mucho más inteligente que ellos y decida que prefiere no pertenecer a nadie.
8. El mundo en general está de acuerdo en que, si las armas nucleares explotan, matan a personas. La comunidad de físicos no está fragmentada en corrientes filosóficas con posturas extrañas como «Si cada individuo tiene su propia arma nuclear, no estará a merced de personas malvadas con armas nucleares», o «No pasa nada porque los seres humanos simplemente se fusionarán con las armas nucleares», o «La guerra nuclear es inevitable, por lo que es infantil y absurdo intentar detenerla».
9. Las armas nucleares son difíciles de replicar. No se está realizando ningún gran esfuerzo tecnológico para crear una tecnología accesible que cualquiera pueda utilizar para fabricar armas nucleares, y fabricar un arma nuclear en un laboratorio no permite desplegar 100 000 copias de esa arma nuclear una semana después.
10. Las principales potencias mundiales consideran que la guerra nuclear es una posibilidad real y un resultado inaceptable. Los líderes mundiales están sinceramente convencidos de que es un mal y se esfuerzan de verdad por evitarla; incluso los más egoístas de entre ellos saben que una guerra nuclear podría matarlos a ellos y a sus familias, y arruinar sus lugares y posesiones más preciados. Ni los ciudadanos ni los votantes quieren una guerra nuclear. La humanidad está tan unida contra la guerra nuclear como nunca lo ha estado sobre ninguna otra cosa.

De modo que sí, es difícil establecer una analogía sobre la dificultad de lidiar con la IA, ya que planteará un conjunto de retos totalmente nuevos. La observación importante es que no estará completamente libre de ellos. Si a esto le sumamos que (como se discute en el libro y en el debate ampliado más abajo) la humanidad solo tiene una oportunidad, la situación parece bastante mala.

La IA es diferente porque no tendremos una segunda oportunidad.

Una diferencia fundamental entre este campo y otros es que, cuando los fundadores del campo fallan —como es normal en el curso de la ciencia—, todos morirán sin segundas oportunidades. Se trata de un tipo de problema científico cualitativamente distinto que hay que intentar resolver.

La historia del ingenio humano superando obstáculos grandes y pequeños es la historia de personas que cometieron errores y aprendieron de ellos. Solo se arriesgaron y perjudicaron a sí mismos, y toda la humanidad se benefició, por lo que fueron héroes indiscutibles. Héroes insensatos, en algunos casos, pero héroes al fin y al cabo. Si hubiera habido una forma de que la humanidad progresara sin pisotear y romperles la espalda a héroes como esos, si hubiéramos podido calentarnos sin sus piras funerarias, desconocemos cuál podría haber sido.

La superinteligencia artificial rompe ese ciclo. Si estudias a profundidad una IA inmadura, logras decodificar su mente por completo, desarrollas una gran teoría sobre cómo funciona que validas con un montón de ejemplos y utilizas esa teoría para predecir cómo cambiará la mente de la IA a medida que ascienda a la superinteligencia y obtenga (por primera vez) la opción muy real de apoderarse del mundo para sí misma, incluso entonces, fundamentalmente, estarías usando una teoría científica nueva y sin probar para predecir los resultados de un experimento que aún no se ha llevado a cabo, sobre lo que hará la IA cuando de verdad tenga la oportunidad de arrebatar el poder a los humanos.

Las teorías científicas humanas suelen ser erróneas en el primer intento. Cuanto menos precisas sean tus observaciones previas y cuanto más se parezca a la alquimia que a la ciencia, más probable es que todas tus primeras teorías sean erróneas.

Incluso las teorías realmente buenas pueden resultar erróneas en los extremos, como la teoría de la gravitación de Newton, que está respaldada por muchos éxitos predictivos radicales, incluido el descubrimiento de planetas completamente nuevos, pero que resulta ser errónea a altas velocidades y largas distancias, como lo demuestra la teoría de la gravitación de Einstein. Si la primera teoría de la humanidad sobre cómo cambiará la dinámica mental de una IA después de ascender a la superinteligencia es ligeramente errónea en esos extremos, y una IA construida a partir de esa teoría asciende a la superinteligencia y termina con objetivos diferentes a la «bondad», entonces estamos muertos. Esa superinteligencia aprovecha su oportunidad, erradica a la humanidad de la faz de la tierra y construye un futuro vacío y sin sentido. No hay segundas oportunidades.

Y eso si sintiéramos que tuviéramos una teoría de la inteligencia completamente desarrollada, respaldada por abundante evidencia experimental.

Una civilización que quiera tener una muy buena oportunidad de sobrevivir a este tipo de retos es la que es capaz de decir: «Un momento, desarrollemos la teoría para situaciones de alta velocidad y larga distancia, y comprobemos las diversas predicciones erróneas que ha hecho nuestra teoría en algunos casos extremos». Dicen esto incluso ante la abrumadora evidencia, porque entienden que ni siquiera la teoría de Newton era del todo correcta y porque entienden que no hay segundas oportunidades.

Nuestra civilización no está en ese punto. Ni siquiera cerca. Nuestra civilización está generando un montón de ideas ineptas, y luego todos los responsables de esas ideas «renuncian por motivos personales», y el resto del mundo apenas se da cuenta. Nadie está escribiendo nada parecido a un supuesto de seguridad, de modo que se den cuenta si se infringe; nadie está escribiendo un plan detallado sobre lo que van a hacer, qué capacidades requiere y qué dificultades esperan encontrar para conseguir cada capacidad.

Los profesionales de una civilización sensata echarían un vistazo a lo que está haciendo la Tierra y se pondrían a gritar.