No es momento de jugar a la política.

Algunos han argumentado que las personas preocupadas por la carrera por construir superinteligencia deberían ocultar sus opiniones y, en cambio, hablar sobre la pérdida de puestos de trabajo causada por la IA, o el problema del bioterrorismo facilitado por ChatGPT, o cuánta agua se necesita para enfriar las computadoras de los centros de datos.^* Creemos que este enfoque es pasarse de listo y es probable que resulte contraproducente. De hecho, ya hemos visto esto último en varias ocasiones.

Los cuatro problemas principales que observamos en este enfoque son los siguientes:

• No es honesto, y la gente es buena detectando la falta de honestidad y la manipulación.

  Incluso si eres un mentiroso excepcionalmente bueno, los argumentos sobre cuestiones que consideras secundarias probablemente acabarán pareciendo «extraños»; no terminarán de cobrar sentido, por las mismas razones por las que consideras que esas cuestiones son realmente secundarias. Cuanto más compartas tus argumentos edulcorados, más probable será que la gente concluya que o bien estás confundido sobre esta cuestión o bien no estás siendo totalmente sincero sobre lo que realmente piensas. Y, en cualquiera de los dos casos, no parecerás un aliado prometedor ni una fuente de información fiable.

• Probablemente sea innecesario. Según nuestra experiencia, una conversación honesta y directa sobre la superinteligencia es mucho mejor recibida que intentar desviar la atención hacia otros temas, como los deepfakes de IA. Desde mediados de 2023 y con cada vez más frecuencia, he hablado (Soares) con diversos funcionarios electos. He asistido a cenas en las que personas «preocupadas por la IA» plantearon la posibilidad de que los terroristas se valieran de la IA, y un funcionario en ejercicio respondió que sus temores eran mucho más urgentes y graves, porque le preocupaban las IA con automejora recursiva que podrían generar una superinteligencia capaz de borrarnos del mapa, y que podrían crearse en un plazo de tres años.

  Hay gente, incluidos funcionarios electos del Congreso de Estados Unidos, que está dispuesta a tomarse este tema en serio y a buscar formas de abordarlo.^† Este tema puede parecer más de nicho y controvertido de lo que realmente es, porque en el momento de la publicación de este libro aún no se ha producido un debate nacional o internacional adecuado al respecto. Pero hemos mantenido muchas conversaciones francas sobre este tema en Washington D. C. que han ido muy bien, lo cual nos alienta a seguir.^‡

• Responder a esas otras cuestiones no resuelve el problema de la superinteligencia. Las empresas de IA compiten por crear superinteligencia. Si lo consiguen, todos moriremos. Las soluciones que tienen sentido para este problema son muy diferentes de las soluciones que tienen sentido para hacer frente a los deepfakes generados por IA, o incluso al bioterrorismo habilitado por IA.

  El solapamiento no es nulo, y podríamos conseguir más apoyo para abordar la IA más inteligente que los humanos haciendo hincapié en las formas en que se solapan los diferentes problemas. Pero es extremadamente improbable que el mundo dé con una respuesta adecuada a un problema tan complicado como la superinteligencia sin orientarse hacia el problema real.

• Es plausible que tengamos poco tiempo. Es poco probable que tengamos tiempo para hacer que la gente considere poco a poco este riesgo a lo largo de muchos años, empezando por cuestiones más sencillas y familiares para luego ir escalando hasta la superinteligencia. Si no movilizamos un esfuerzo para responder a este problema cuanto antes, es plausible que no tengamos ninguna oportunidad de responder.

Esto no quiere decir que la pérdida de puestos de trabajo, el bioterrorismo, etc., no sean problemas reales por derecho propio. Es solo que la sociedad no va a poner fin realmente a la imprudente carrera suicida si no sabe que se está produciendo una imprudente carrera suicida.

Llevamos años viendo a amigos y conocidos del ámbito de las políticas públicas darle vueltas a problemas como el de los bioterroristas que se valen de ChatGPT. Por lo que sabemos, no parece que nada de esto vaya a impedir realmente la creación de la superinteligencia.

Somos nerds hasta la médula, y escribir un libro popular nos saca de nuestra zona de confort. No pretendemos tener experticia en política eficaz. Pero nos parece que la humanidad ha llegado al límite de los problemas que puede sortear con un discurso compuesto por argumentos cuidadosamente expresados, elegidos estratégicamente y que no resulten «alarmistas».

En algún momento, como seres humanos, tenemos que empezar a hablar de la amenaza que se avecina. Las políticas deben basarse en las realidades concretas de la situación, no en mensajes de aparente seguridad.

Los directores de los laboratorios de IA afirman que podríamos ver investigadores de IA que superen a los humanos en los próximos unoacuatro años. Esperamos sinceramente que estén equivocados, pero, con toda nuestra experticia, no sabemos que lo estén. Los responsables de políticas tampoco lo saben. La humanidad simplemente no está respondiendo de manera adecuada al desafío que tenemos por delante. Si no se da la voz de alarma ahora, ¿cuándo?

Además: desde que redactamos por primera vez el párrafo anterior, la estrategia que defendemos parece estar dando cada vez más frutos, como se puede ver en la lista de lo que los políticos han dicho sobre la superinteligencia durante el verano de 2025. Parece que ha llegado el momento de debatir seriamente el peligro inminente que supone la superinteligencia artificial.