Esta es una pregunta espinosa. Independientemente de la respuesta, debemos detener el desarrollo.

Si algún día la humanidad construye una superinteligencia, debemos asegurarnos de que esté «alineada» con los valores humanos. Pero ¿con los valores de qué humanos exactamente? Las personas discrepan enormemente sobre lo que está bien y lo que está mal, sobre la religión, sobre las normas sociales, sobre las concesiones políticas, etc.

En la actualidad, esta pregunta es irrelevante. La humanidad no es capaz de introducir ningún objetivo concreto en una IA, por lo que no importa si hay desacuerdo sobre qué objetivos serían los ideales. Como hemos argumentado ampliamente, apresurarnos a crear una superinteligencia nos mataría a todos. La humanidad tiene desacuerdos sobre muchas cosas, pero la mayoría de la gente está de acuerdo en que la destrucción de toda la vida en la Tierra no es algo bueno.

El problema de qué valores exactamente deben cargarse en una IA parece una cuestión espinosa. Es un problema que, francamente, nos encantaría tener. En cambio, nos enfrentamos a un problema diferente y mucho peor.

No necesitamos ponernos de acuerdo en absoluto sobre «¿alineada con quién?» (ni siquiera sobre si la humanidad debería crear alguna vez una superinteligencia) para coordinar una prohibición internacional, por la sencilla razón de que, de lo contrario, moriremos. Hay un sinfín de interesantes cuestiones filosóficas que plantea la IA, pero si nos dejamos distraer indebidamente por ellas, corremos el riesgo de que nuestros hijos mueran en el proceso.

En términos prácticos, nuestro consejo a los líderes mundiales es:

• Separar la pregunta «¿Debemos apresurarnos a crear una superinteligencia?» de la pregunta «Si encontráramos la manera de crear una superinteligencia de forma segura, ¿qué deberíamos hacer con ella?» y centrarse primero en la primera pregunta. La primera pregunta es la más urgente y la que se puede abordar hoy en día. Puede que sea importante abordar la segunda pregunta algún día, pero por ahora es una trampa, porque nos invita a pensar en la superinteligencia como un premio. Creer erróneamente que la primera persona que construya una superinteligencia podrá decidir qué hacer con ella nos llevaría a una carrera suicida.

  La SIA es un botón suicida, no un genio en una lámpara. Cuando alguien crea una superinteligencia, no por ello «posee» esa superinteligencia. Más bien, la superinteligencia que acaba de crear tiene un planeta.

• Si en el futuro, por alguna razón, sienten la necesidad de abordar el tema de «¿Cómo debería la humanidad utilizar algún día la superinteligencia, si alguna vez estamos en condiciones de hacerlo?», les recomendamos encarecidamente que eviten propuestas o ideas que incentiven a otros actores a emprender una carrera (o que, de otro modo, incentiven a las naciones a rechazar o violar cualquier futuro acuerdo internacional sobre superinteligencia). Cualquier dinámica del tipo «el ganador se lo lleva todo» tiene un enorme potencial para poner al mundo en peligro.

  Existen propuestas para gestionar la espinosa cuestión de «¿alineada con quién?» de una manera relativamente universalista que intenta ser justa con todas las partes interesadas potenciales y que no incentiva una carrera por llegar primero a la meta; por ejemplo, la propuesta de alinear una IA para que persiga la volición extrapolada coherente de toda la humanidad.^* Pero incluso en ese caso, existe un potencial infinito para que la gente discuta sobre los principios y las concesiones que ello implica, así como sobre los intrincados detalles de su implementación. Sería importante resolver esos argumentos en un mundo en el que la humanidad hubiese descubierto cómo orientar de forma precisa y sólida una superinteligencia, pero ponerlos hoy en primer plano tergiversa desmesuradamente las concesiones reales a las que se enfrenta el mundo y corre el riesgo de descarrilar los esfuerzos para coordinar objetivos comunes, como evitar la destrucción de la Tierra.

Aun tratándose de cuestiones de enorme importancia a largo plazo, nada debería vincularse a la supervivencia de la humanidad, salvo la propia supervivencia de la humanidad.