El mundo es, por desgracia, lo suficientemente grande como para albergar múltiples problemas.

La guerra nuclear y el bioterrorismo son amenazas reales. Por desgracia, la superinteligencia artificial es también una amenaza real. El mundo es lo suficientemente grande y problemático como para albergar las tres.^*

La amenaza de la superinteligencia es distinta a muchas otras amenazas a las que se enfrenta la humanidad, y parece excepcionalmente grave. Una característica distintiva es que una parte significativa de la economía mundial se está invirtiendo en hacer que la IA sea cada vez más capaz. Por el contrario: aunque la bioseguridad es una cuestión seria, los inversionistas no están destinando decenas de miles de millones de dólares a la creación de supervirus. Los ingenieros de supervirus no cobran salarios de millones o decenas de millones (o, en ocasiones, incluso cientos de millones) de dólares al año.

El mundo está dedicando esfuerzos a la energía nuclear, pero las centrales nucleares son una tecnología muy diferente a las armas nucleares. No vivimos en un mundo en el que las empresas privadas se afanen por construir armas nucleares cada vez más grandes con enormes inversiones y talento. Si así fuera, el riesgo de una guerra nuclear sería mucho mayor.

La IA también es una situación más complicada porque proporciona una gran riqueza y poder hasta que cruza algún umbral crítico, y en ese punto, mata a todo el mundo. Y nadie sabe dónde está ese umbral.

Imagina que las centrales nucleares se volvieran cada vez más rentables a medida que el uranio que utilizan se enriqueciera más y más, pero que, al alcanzar un umbral de enriquecimiento desconocido, explotaran e incendiaran la atmósfera, matando a todo el mundo. Ahora imagina que media docena de empresas estuvieran enriqueciendo uranio tan rápido como pudieran, diciendo: «Mejor yo que alguien más». Eso es parecido a lo que la humanidad está haciendo con la superinteligencia artificial.^†

El peligro de la superinteligencia artificial es urgente. Las corporaciones se apresuran a desarrollar esta tecnología. No sabemos cuánto tiempo les llevará tener éxito, pero nos parece que un niño nacido hoy en Estados Unidos tiene más probabilidades de morir a causa de la IA que de graduarse del bachillerato. Creemos que tú, el lector, probablemente morirás por esta causa, quizás en los próximos años. El mundo entero está en juego.

No es que digamos que deban ignorarse los demás problemas. Es que este problema debe resolverse.