Si comprenden la amenaza, no.

Estamos hablando de una tecnología que mataría a todos los habitantes del planeta. Si algún país comprendiera seriamente el problema y lo lejos que está cualquier grupo del planeta de conseguir que la IA siga las intenciones de sus operadores, incluso después de la transición a una superinteligencia, entonces no habría ningún incentivo para que siguieran avanzando. Ellos también desearían desesperadamente firmar un tratado y ayudar a hacerlo cumplir, por temor a morir.

Incluso naciones como Corea del Norte, que han violado el derecho internacional para desarrollar sus propias armas nucleares, no han utilizado esas armas contra sus enemigos, porque entienden que no hay ganadores en un holocausto nuclear. Las naciones y sus líderes a veces se involucran en políticas arriesgadas o en guerras, pero no persiguen activamente su propia destrucción.

Las personas que imaginan que alguna nación extranjera incumpliría el tratado están imaginando una nación cuyos líderes simplemente no comprenden la amenaza. Creemos que están imaginando un escenario en el que la IA tiene un 95 % de posibilidades de conferir gran riqueza y poder a su creador, y un 5 % de posibilidades de matar a todo el mundo. En ese caso, claro, algún Estado nación podría ser lo suficientemente imprudente como para intentarlo. Y tal vez algún Estado nación creerá que esas son las probabilidades.

Creemos que esta situación no es lo que la teoría y la evidencia implican. Como hemos argumentado ampliamente a lo largo del libro, la teoría y la evidencia sugieren que esta tecnología sería, claramente, un suicidio global. Nadie está ni remotamente cerca de poder aprovechar la superinteligencia artificial para obtener beneficios. Si la mayor parte del mundo lo entendiera, habría muchas menos razones para que los Estados paria violaran un tratado. Ellos tampoco quieren morir.

E incluso si alguna hipotética nación paria tuviera un líder que realmente no comprendiera la amenaza que plantea la superinteligencia artificial, si esa nación estuviera rodeada por una alianza internacional de potencias mundiales que sí fueran conscientes de la amenaza, las potencias mundiales interesadas podrían intervenir y cambiar el panorama de incentivos para dicho país.

Si (por ejemplo) los líderes de Estados Unidos, China, Rusia, Alemania, Japón y el Reino Unido creyeran genuinamente que su propia supervivencia depende de que nadie construya una superinteligencia, y dejaran muy claro en sus comunicaciones que tratarán cualquier intento de construir una superinteligencia como una amenaza para sus vidas y medios de vida, y que están dispuestos a reaccionar en defensa propia, entonces incluso un líder mundial que no esté de acuerdo probablemente no querría tentar a la suerte contra esa coalición.

El desarrollo de la IA no es una carrera hacia el dominio militar; es una carrera hacia el suicidio. Creemos que si los líderes mundiales entienden esto —si esperan que ellos mismos y sus hijos mueran por ello— entonces se adherirán sinceramente a un tratado y ayudarán sinceramente a hacerlo cumplir.

En realidad no es tan difícil entender el argumento de que crear máquinas más inteligentes que toda la humanidad en su conjunto puede llevar al mundo al abismo. No es tan difícil darse cuenta de lo poco que la humanidad entiende sobre las máquinas inteligentes que estamos construyendo, una vez que te detienes lo suficiente para plantearte la pregunta con sinceridad. Creemos que la cuestión es si los líderes mundiales llegarán a creer estos hechos. Pero si lo hacen, no creemos que sea poco realista detener esta carrera suicida.

Un tratado requeriría vigilancia y hacerse cumplir.

Aunque la mayoría de los países entendieran que si alguien la construye, todos mueren, algunos podrían no entenderlo y ser lo suficientemente imprudentes como para seguir adelante con la construcción de la superinteligencia artificial de todos modos.

La vigilancia y la garantía de su cumplimiento son necesarias. Los tratados sobre armas nucleares, biológicas y químicas sientan un precedente sobre las formas de verificarlo. Podemos y debemos hacer que eludir dichos tratados resulte difícil y costoso.

Será necesario aplicar estrictamente una prohibición internacional de la IA de vanguardia. Si algún Estado nación está decidido a seguir adelante frente a la presión internacional, puede que sea necesario el uso de la fuerza militar por parte de los países signatarios.

Esto no es lo ideal. Se debe hacer todo lo posible para dejar claro que se recurriría a la fuerza en tales situaciones, a fin de evitar errores de cálculo que obliguen a usar la fuerza en la realidad. Pero si hay alguna causa que pueda justificar una acción militar limitada —o incluso una guerra, si un país incumplidor decide escalar la situación—, salvar a la raza humana debería ser una de ellas.

Este método ha funcionado antes.

Han pasado más de ochenta años desde el desarrollo de la bomba atómica y la humanidad ha hecho un buen trabajo en la gestión de la proliferación nuclear. No ha habido ninguna guerra nuclear a gran escala, contrariamente a lo que predijeron muchos expertos tras la Segunda Guerra Mundial.

En junio de 2025, el Gobierno de Estados Unidos incluso llevó a cabo un ataque limitado contra Irán con el fin de afectar su capacidad para fabricar armas nucleares. Este tipo de tratado y régimen para garantizar su cumplimiento tiene precedentes en el orden mundial.

Si pudiéramos ganar ochenta años antes del desarrollo de la superinteligencia artificial, eso podría ser suficiente.