Una pregunta natural que esperamos de muchos lectores es:

Dicen que si alguien construye una superinteligencia artificial, todos mueren. Pero entonces, ¿por qué alguien está intentando construirla? Si tienen razón, estas personas ni siquiera están siguiendo sus propios incentivos, en última instancia. Si todos mueren, ellos también mueren.

Una réplica cínica, de teoría de juegos, podría ser la siguiente:

Porque es racional, dados sus incentivos. Si no lo construyen ellos, suponen que alguien más lo hará. Y más les vale hacerse ricos antes de morir.

Para un cínico, quizá esa respuesta sea suficiente.

Las explicaciones simples basadas en la teoría de juegos como esta a menudo malinterpretan o simplifican en exceso la psicología humana real, pero esta explicación también puede contener una pizca de verdad. Un ingeniero puede pensar que probablemente todo el mundo morirá a causa de la SIA, pero que sus propias acciones no afectan mucho a esa probabilidad. Mientras tanto, consiguen cantidades ingentes de dinero, juguetes geniales y reuniones con gente importante que los mira con respeto. Quizás se conviertan en los reyes-dioses de la Tierra si la SIA no mata a todo el mundo, pero solo si su empresa gana la carrera por construir la SIA.

Desde la perspectiva de un investigador de OpenAI que reconoce el peligro: si no trabaja para OpenAI, probablemente OpenAI destruirá el mundo de todos modos. (Incluso si OpenAI cerrara, Google destruiría el mundo de todos modos). Pero si sí trabaja para OpenAI, obtiene salarios de seis a siete cifras, y si no muere, tal vez acumule poder y fama adicionales por estar en el equipo ganador. Así que los incentivos personales de cada individuo, basados en la teoría de juegos, los empujan a destruir colectivamente el mundo.

Nuestra opinión es que este tipo de explicación es un poco exagerada, y la mencionamos principalmente porque hay un tipo de personas que creen (mucho más que nosotros) que el mundo debe funcionar según explicaciones como esa. También sentimos la necesidad de mencionarlo porque algunas personas de los laboratorios de IA dicenexplícitamente que una carrera hacia el abismo es inevitable, así que también podrían echar leña al fuego y divertirse.

Después de advertir de que la IA «es mucho más peligrosa que las armas nucleares», Elon Musk decidió crear una empresa de IA y entrar él mismo en la carrera de la IA, declarando en junio de 2025:

Parte de aquello contra lo que he estado luchando —y lo que me ha frenado un poco— es que no quiero hacer que Terminator se vuelva una realidad. Hasta hace pocos años, he estado arrastrando los pies con la IA y la robótica humanoide.

Entonces caí en la cuenta de que esto va a suceder, participe yo o no. Así que uno puede ser espectador o participante. Y prefiero participar.

Y:

¿Y esto será bueno o malo para la humanidad? ¿Creo que será bueno? ¿Lo más probable es que sea bueno? Pues me he hecho un poco a la idea de que, aunque no fuera bueno, al menos me gustaría estar vivo para verlo.

Está claro que esto forma parte de la historia.

Pero no creemos que este sea el factor más importante que explique el comportamiento de la mayoría de los laboratorios. Tampoco creemos que sea lo único que ocurre en el caso de Musk, ni que sea representativo de todos los directores generales o científicos tecnológicos que se precipitan al abismo. Los seres humanos somos un poco más complicados que eso.

La banalidad de la autodestrucción

Entonces, ¿qué es lo principal que está sucediendo? ¿Cómo es posible que los ingenieros persigan una tecnología peligrosa, aun a costa de sus propias vidas?

El hecho es que la historia demuestra que no es en absoluto una anomalía que los científicos locos se maten por error.

Max Valier fue un pionero austriaco de la industria de cohetes que, para 1929, ya había inventado versiones funcionales de un coche cohete, un tren cohete y un avión cohete, con lo que captó la atención del mundo. Escribió sobre la exploración de la Luna y Marte, y realizó cientos de presentaciones y demostraciones ante un público fascinado. Uno de sus motores de cohete experimentales explotó en 1930, lo que le causó la muerte. Su aprendiz desarrolló mejores medidas de seguridad.

Ronald Fisher fue un renombrado y eminente estadístico, uno de los fundadores de la estadística moderna. Sus hallazgos se utilizaron para argumentar ante el Congreso en la década de 1960 que la evidencia no demostraba necesariamente que los cigarrillos causaran cáncer de pulmón, ya que la correlación no implicaba causalidad; siempre podía haber algún gen que hiciera que a las personas les gustara el sabor del tabaco y también les provocara cáncer de pulmón.

¿Sabía Fisher, en cierto modo, que sus estadísticas eran patrañas? Quizás. Pero Fisher era fumador. Murió de cáncer de colon, una enfermedad que los fumadores habituales padecen un 39 % más a menudo que los no fumadores. ¿Murió Fisher por sus propios errores? Lo único que sabemos es que hay una probabilidad estadísticamente aceptable de que así fuera, lo que parece casi apropiado.

Isaac Newton, el brillante científico que desarrolló las leyes del movimiento y la gravedad y que sentó muchas de las primeras bases de la propia ciencia, dedicó décadas de su vida a infructuosas investigaciones alquímicas y terminó enfermo y con locura parcial a causa del envenenamiento por mercurio.

Y el pobre Thomas Midgley, Jr., del que se habla en la parábola del capítulo 12, sin duda sufrió una grave intoxicación por plomo con el mismo plomo que él insistía en que era seguro. Como puedes ver, no es tan raro que los ingenieros entusiastas se hagan daño a sí mismos con sus propios inventos, ya sea por imprudencia, por autoengaño o por ambas cosas.

Encogerse de hombros ante el apocalipsis

Fisher, Newton y Midgley se autoengañaron pensando que algo peligroso era seguro. Es una forma perfectamente normal en la que los científicos acaban haciendo algo autodestructivo. Por desgracia, la situación de los laboratorios de IA no es tan simple.

No todos los directores generales de empresas de IA niegan que una IA más inteligente que los humanos sea una amenaza. Muchos reconocen explícitamente el peligro y hablan de resignarse a él. Los ejecutivos de muchas de las empresas de IA de vanguardia han declarado públicamente que la tecnología que están desarrollando tiene una probabilidad considerable de acabar con toda la humanidad.

Poco antes de cofundar OpenAI, Sam Altman escribió: «El desarrollo de una inteligencia artificial superhumana es probablemente la mayor amenaza para la persistencia de la humanidad».

Ilya Sutskever, quien recientemente fundó “Safe Superintelligence Inc.” tras separarse de OpenAI, dijo en una entrevista para The Guardian:

Las creencias y deseos de las primeras IAG serán extremadamente importantes. Por eso es importante programarlas correctamente. Creo que, si no se hace así, la naturaleza de la evolución, de la selección natural, favorecerá a aquellos sistemas que prioricen su propia supervivencia por encima de todo lo demás. No es que vayan a odiar activamente a los humanos y quieran hacerles daño, pero sí que serán demasiado poderosos.

El cofundador y científico de Google DeepMind, Shane Legg, dijo en una entrevista que la probabilidad que le asignaba a la extinción humana «en el plazo de un año tras la aparición de algo como una IA de nivel humano» era de «tal vez un cinco por ciento, tal vez un cincuenta por ciento».

Sin embargo, las acciones de los laboratorios parecen contrastar notablemente con estas declaraciones de tono tan extremo.

En algunos casos, científicos y directores generales han afirmado explícitamente que crear IA es un imperativo moral de tal magnitud que es perfectamente aceptable acabar con la humanidad como efecto secundario. El cofundador de Google, Larry Page, tuvo un fuerte desencuentro con Elon Musk sobre si la extinción humana era un costo aceptable en el negocio de la IA:

Los humanos acabarían fusionándose con máquinas con inteligencia artificial, dijo [Larry Page]. Algún día habría muchos tipos de inteligencia compitiendo por los recursos, y la mejor ganaría.

Si eso ocurre —dijo Musk—, estaremos condenados. Las máquinas destruirán a la humanidad.

Con un exabrupto de frustración, Page insistió en que había que perseguir su utopía. Finalmente, calificó a Musk de «especista», una persona que favorece a los humanos por encima de las formas de vida digitales del futuro.

Y Richard Sutton, pionero del aprendizaje por refuerzo en IA, ha dicho:

¿Y si todo falla? Las IA no cooperan con nosotros, toman el control y nos matan a todos. […] Solo quiero que piensen en esto por un momento. Quiero decir, ¿es tan malo? ¿Es tan malo que los humanos no seamos la forma definitiva de vida inteligente en el universo? Saben, ha habido muchos predecesores nuestros, a los que hemos sucedido. Y es bastante arrogante pensar que nuestra forma debe ser la forma que perdure para siempre.^*

Sin embargo, son aún más comunes los científicos y directores generales que no piensan que sería bueno que la IA destruyera a la humanidad, pero que parecen tratar el hecho de que la IA represente esta amenaza extraordinaria como algo sin importancia, como algo distinto a una emergencia gravísima.

En una entrevista reciente, el director general de Anthropic, Dario Amodei, comentó:

Diría que la probabilidad de que algo salga catastróficamente mal a escala de la civilización humana se sitúa entre el diez y el veinticinco por ciento. […] Esto significa que hay entre un setenta y cinco y un noventa por ciento de probabilidad de que esta tecnología se desarrolle ¡y todo salga bien!

Esto nos parece un caso radical de insensibilidad al alcance, con todas las señas de identidad de una cultura de ingeniería disfuncional. Podemos comparar esta forma de pensar con, por ejemplo, los estándares que se imponen los ingenieros estructurales.

Los ingenieros de puentes suelen tener como objetivo construir puentes de tal manera que la probabilidad de que se produzca un fallo estructural grave en un periodo de cincuenta años sea inferior a 1 entre 100 000. Los ingenieros de disciplinas técnicas maduras y consolidadas consideran que es su responsabilidad mantener el riesgo en un nivel excepcionalmente bajo.

Si se pronosticara que la probabilidad de que un puente mate a una sola persona es de entre el diez y el veinticinco por ciento, cualquier ingeniero estructural sensato del mundo consideraría eso más que inaceptable, más cercano a un homicidio que a la práctica habitual de la ingeniería. Los gobiernos cerrarían el puente al tráfico de inmediato.

Los investigadores de la IA, por el contrario, están acostumbrados a reunirse informalmente y a intercambiar cifras de «p(doom)», su estimación subjetiva de la probabilidad de que la IA provoque una catástrofe tan grave como la extinción humana. Estas probabilidades suelen ser de dos dígitos. El antiguo jefe del equipo de alineación de la superinteligencia de OpenAI, por ejemplo, dijo que su «p(doom)» se sitúa en el rango de «más del diez por ciento y menos del noventa por ciento».

En última instancia, estas cifras no son más que conjeturas de los investigadores. Quizás sean absurdas, quizás no. En cualquier caso, es sorprendente lo culturalmente normal que es, en el campo de la IA, esperar que tu trabajo tenga una probabilidad considerable de causar la muerte de un número enorme de personas.^†

La idea de aplicar probabilidades como esas a la supervivencia de toda la especie humana y, aun así, seguir adelante con el trabajo sería realmente difícil de asimilar para la mayoría de los ingenieros civiles. La situación es tan extrema que nos hemos encontrado con muchas personas que dudan de que estos científicos y directores generales estén hablando en serio cuando comparten sus evaluaciones de riesgos. Sin embargo, los argumentos de Si alguien la crea, todos moriremos sugieren que los directores generales de IA, si acaso, están subestimando el peligro.^‡

Los investigadores de estas empresas están acostumbrados a niveles de riesgo que serían sorprendentemente absurdos para un ingeniero de puentes. De lo contrario, es difícil entender cómo un director general como Amodei puede sonreír mientras asegura a los espectadores que cree que las probabilidades de que la investigación en IA provoque catástrofes a escala de la civilización son de «entre el diez y el veinticinco por ciento».

Vivir en un mundo de ensueño

Una parte del rompecabezas, como ya se mencionó, parece ser la normalización cultural del riesgo extremo.

Otra parte es una combinación letal de sesgo de optimismo y apego a ideas brillantes y esperanzadoras —el tipo de error que los psicólogos cognitivos denominan «[falacia de la planificación] (https://en.wikipedia.org/wiki/Planning_fallacy)»—.

No es de extrañar que el director general de una audaz empresa emergente sobreestime sus posibilidades de éxito. Al fin y al cabo, es más probable que ese tipo de persona intente resolver un problema.

La diferencia con la IA no es que haya personas especialmente imprudentes al mando. Es que las consecuencias del fracaso son mucho más terribles de lo habitual.

Es sentido común saber que no se puede confiar en un contratista cuando dice que solo hay un veinte por ciento de posibilidades de que su gigantesco proyecto de construcción de un puente se retrase o tenga sobrecostos. Así no funcionan los proyectos complejos en la vida real. Habrá obstáculos y sorpresas.

Quizás un contratista veterano, respaldado por años de experiencia y estadísticas, podría decirte que uno de cada cinco de sus puentes experimenta algún tipo de sobrecosto, y quizá podrías confiar en eso. Pero imagina que, en cambio, un contratista de puentes, queriendo tranquilizarte, te dijera: «No vemos ninguna razón por la que este proyecto pueda resultar difícil. Es nuestro primer proyecto, sí, pero creemos que todo va a salir bien. Todos esos ingenieros que te envían cartas serias sobre problemas específicos con la instalación de los muros de contención y la excavación en esta zona en particular son simplemente pesimistas, y deberías ignorarlos. Claro, siempre existe alguna posibilidad de que surja un problema, pero somos constructores de puentes primerizos, realistas y humildes. Creemos que hay quizás un veinte por ciento de posibilidades de que este proyecto se encuentre con obstáculos y sorpresas, en el peor de los casos».

En un caso así, cifras como «un veinte por ciento» nos parecen el tipo de cosas que se dicen cuando no se puede negar que existe algún riesgo, pero no se quiere preocupar a la gente. No parecen estimaciones basadas en la realidad.

Alinear una superinteligencia al primer intento parece mucho más complicado que construir un puente, algo que la humanidad ya ha hecho miles de veces.

Incluso en un campo maduro y con una base técnica sólida como la construcción de puentes, el tipo de discurso que se ve en los laboratorios de IA sería una mala señal sobre si esas estimaciones de «un veinte por ciento de posibilidades de que esto salga mal» son excesivamente optimistas. En un campo sin esa base, en el que las ideas emocionantes proliferan libremente sin entrar nunca en contacto con la cruda realidad, ese tipo de discurso es una señal de que nadie está ni remotamente cerca del éxito.

Y ese tipo de discurso es absolutamente omnipresente en la IA entre el subconjunto de investigadores y ejecutivos que incluso están dispuestos a abordar el tema de qué pasaría si tuvieran éxito en sus empeños.

Los líderes empresariales de la IA no pueden articular un plan para el éxito que sea mínimamente detallado, un plan que aborde los principales obstáculos y dificultades técnicas que se conocen en el campo desde hace más de una década.

En cambio, los directores generales de las empresas tienden a enamorarse de alguna idea de alto nivel según la cual el problema no les va a suponer ningún inconveniente, una visión atractiva que pretende trivializar todos los problemas de ingeniería, como las que comentamos en el capítulo 11.

Este es también un patrón común entre los ingenieros. El optimismo injustificado sobre una solución favorita (que en realidad no funcionará) es algo que se ve todo el tiempo, incluso entre personas que en otros aspectos son genios.

Linus Pauling, uno de los fundadores de la biología molecular y premio Nobel en dos campos diferentes, defendía las megadosis de vitamina C como cura para todo, desde el cáncer hasta las enfermedades cardíacas; su insistencia en este enfoque frente a la evidencia en contra llevó a la creación de toda una industria de pseudomedicina.

En un intento por desacreditar el cableado de corriente alterna de su competidor en favor de sus propios diseños de corriente continua, el empresario eléctrico Thomas Edison decidió que sería una buena jugada de relaciones públicas pagar a un ingeniero para que electrocutara perros. Como era de esperar, la táctica no le granjeó el cariño del público, pero aun así, Edison continuó con esta práctica incluso después de una avalancha de indignación.

Napoleón Bonaparte, un genio militar para la mayoría, precipitó su propia caída con una desastrosa invasión de Rusia. Su error no fue la falta de preparación, ya que estudió la geografía de la región y dedicó casi dos años a la logística de la campaña. Su estrategia requería forzar a los rusos a una batalla decisiva antes de que se agotaran los suministros que tenía para treinta días. Los rusos no cooperaron, la ofensiva se estancó y Napoleón perdió medio millón de soldados, junto con la mayor parte de su caballería y artillería.

La historia está llena de personas inteligentes y poderosas que hacen cosas insensatas hasta el borde del desastre, e incluso más allá. Las ideas que suenan maravillosas pueden ser irresistibles cuando son difíciles de poner a prueba, o cuando has encontrado la manera de autoconvencerte de que puedes ignorar la evidencia que tienes enfrente.

Sentir la SIA

En resumen: la gente a menudo cae en un optimismo vacío sobre lo fácil que va a ser un problema; puede acostumbrarse a riesgos terribles; y puede enamorarse de ideas que suenan muy bien pero que son inviables, especialmente cuando trabaja en un campo joven e inmaduro.

Eso es más que suficiente para explicar la temeraria arremetida. Pero, basándonos en nuestra experiencia, nos atreveríamos a decir que esa no es toda la historia.

Otra pieza plausible del rompecabezas es que los ingenieros y los directores generales no creen realmente en lo que dicen. No de forma profunda. Puede que entiendan los argumentos y se sientan convencidos en abstracto, pero eso no es lo mismo que sentir la convicción.

Lo que la gente dice en voz alta en público, lo que se dicen a sí mismos en la privacidad de sus pensamientos y lo que sus cerebros realmente anticipan que les va a pasar, a menudo pueden desvincularse. Esas tres vertientes de creencia diferentes no tienen por qué coincidir.

En 2015, cuando algunos de los grandes impulsores del desastre actual apenas estaban empezando, sospechamos que los ejecutivos con talento podían llamar la atención —y obtener decenas de millones de dólares en financiamiento— diciendo que la IA era un problema que acabaría con el mundo, a inversionistas que quizá creían más sinceramente que la IA era, tal vez, un problema que acabaría con el mundo.^§

Pero sospechamos que muchas de las personas que decían esas cosas no asimilaban ni anticipaban realmente ningún modelo concreto y detallado del fin del mundo. Probablemente no lograban imaginar visceralmente que ellos mismos podrían llevar al mundo a la ruina al impulsar las cosas o cometer un error. No imaginaban el sonido de todos los seres humanos del planeta exhalando su último aliento. No sentían los sentimientos que normalmente conllevaría matar a dos mil millones de niños.

Eso nunca les había pasado a ellos, ni a nadie que conocieran.

El mundo ni siquiera había visto ChatGPT, y mucho menos una superinteligencia. No era el tipo de cosas en las que creían sus amigos, familiares y vecinos; no como se cree en mirar el tráfico antes de cruzar una calle.

Era solo una historia apasionante, demasiado inmensa para comprenderla del todo.

Y, sin embargo, también era el tipo de cosa que decir en voz alta podía reportarte mucho dinero y respeto.

Como señala Yudkowsky (2006):

Además de los sesgos habituales, personalmente he observado lo que parecen ser modos de pensamiento perjudiciales específicos de los riesgos existenciales. La gripe de 1918 mató a entre 25 y 50 millones de personas. La Segunda Guerra Mundial mató a 60 millones de personas. 10^7 es el orden de las catástrofes más grandes en la historia escrita de la humanidad. Cifras sustancialmente mayores, como 500 millones de muertes, y especialmente escenarios cualitativamente diferentes, como la extinción de toda la especie humana, parecen desencadenar un modo de pensar diferente, entrar en un «magisterio separado». Personas que nunca soñarían con hacer daño a un niño oyen hablar de un riesgo existencial y dicen: «Bueno, tal vez la especie humana no merezca realmente sobrevivir».

En el campo de la heurística y los sesgos se dice que la gente no evalúa los acontecimientos, sino sus descripciones; es lo que se denomina razonamiento no extensional. La extensión de la extinción de la humanidad incluye tu propia muerte, la de tus amigos, tu familia, tus seres queridos, tu ciudad, tu país y tus compañeros políticos. Sin embargo, la gente que se ofendería enormemente ante una propuesta de borrar del mapa a Gran Bretaña, de matar a todos los miembros del Partido Demócrata en EE. UU. o de convertir la ciudad de París en cristal —y que se horrorizaría aún más si el médico le dijera que su hijo tiene cáncer—, esa misma gente habla de la extinción de la humanidad con una calma absoluta.

¿Qué puede estar pensando alguien realmente cuando dice —antes de fundar la que se convertiría en la empresa de IA más importante del mundo— «Probablemente, la IA provocará el fin del mundo, pero, mientras tanto, habrá grandes empresas»? ¿De verdad están pensando en que sus amigos mueran, que los hijos de sus amigos mueran, que ellos mismos mueran, que toda la historia de la humanidad y todos los museos se conviertan en polvo? ¿Están pensando en que eso suceda realmente, que todo sea tan mundano y trágico como un familiar que realmente vieron morir de cáncer, excepto que le está sucediendo a todo el mundo?

Sospechamos que no.

Nos parece que esa no es la suposición más plausible sobre el estado psicológico interno de alguien que pronuncia una frase así.

Hay lo que Bryan Caplan denominó un «estado de ánimo ausente» en ello. No hay duelo. No hay horror. No hay un impulso desesperado por hacer algo al respecto en la afirmación de que, si bien la IA muy probablemente conducirá al fin del mundo, mientras tanto habrá grandes empresas.

Al menos para algunos de estos directores generales e investigadores, nuestra hipótesis es más bien la siguiente: han oído un montón de argumentos sobre el posible peligro que supone la superinteligencia artificial y les preocupa quedar en ridículo ante al menos algunos de sus amigos si lo descartan por completo. Si, en cambio, dicen que la IA acabará con el mundo, se les considerará que tratan la IA como algo peligroso e importante, y por lo tanto parecerán visionarios en ciertos círculos. Al añadir una ocurrencia como «Mientras tanto, habrá grandes empresas», consiguen transmitir un mensaje sobre lo geniales que son y lo despreocupados que están ante el peligro.

No es algo que dirías si te escucharas a ti mismo y te lo creyeras.

¿Qué perfil se necesita?

Otra parte de la historia, tal vez, es que las personas que dirigen los principales laboratorios de IA son el tipo de personas que lograron convencerse a sí mismas de que construir una superinteligencia estaría bien, a pesar de (en casi todos los casos) haber visto los argumentos de que esto es letal. (Lo sabemos porque hablamos con muchos de ellos de antemano).

Para entender por qué alguien elige una opción, también ayuda entender cuáles eran sus alternativas, es decir, entender entre qué opciones estaba eligiendo.

¿Qué habría pasado si alguien en 2015 realmente hubiera creído, y luego dicho públicamente, que genuinamente esperaba que la superinteligencia artificial destruyera el mundo? ¿Qué habría pasado si, en lugar de «pero mientras tanto, habrá grandes empresas», los directores de los laboratorios de IA hubieran sido de los que rompen el ambiente y dicen: «y eso es absolutamente inaceptable»?

Podemos contártelo, porque nosotros mismos probamos ese enfoque. La respuesta es que no despertarían demasiada simpatía.

En 2015, nadie había visto ChatGPT. Nadie había visto a las computadoras empezar a hablar y, aparentemente, a pensar. Todo era hipotético y descartable.

Hoy en día, la superinteligencia y la amenaza de extinción a corto plazo son temas de interés general, al menos en los círculos tecnológicos. Pero en 2015, si hablabas de esto en serio, la gente respondía con esa mirada de desconcierto que muchos humanos temen más que a la muerte.

Sí que había personas a las que, incluso en 2015, les preocupaba que alinear la superinteligencia pudiera resultar realmente difícil, al igual que lo son los lanzamientos de cohetes. Ninguna de ellas fundó OpenAI.

A últimas fechas, con la aparición de ChatGPT y otros LLM, algunas personas —entre ellas padres con hijos que quieren que estos lleguen a la edad adulta— han preguntado a los ingenieros de estas empresas de IA por qué están haciendo esto. Y esos investigadores de IA se apresuraron a responder: «Eh, porque[…] porque si no lo hacemos nosotros, ¡China lo hará primero! ¡Y eso será aún peor!».

Pero eso no es lo que dijeron cuando OpenAI comenzó. Y tiene poco sentido si se tiene en cuenta la postura que China ha adoptado públicamente, a mediados de 2025. Cabría pensar que, si alguien creyera de verdad que ambos resultados serían terribles para el mundo, al menos plantearía la cuestión de redactar un tratado internacional o de encontrar alguna otra forma de prevenir la amenaza a la seguridad nacional que no implique una carrera suicida.

Pero la réplica de «China» da la sensación correcta. Capta bien el espíritu. Es el tipo de razón que podría justificar de forma plausible lo que están haciendo, independientemente de si es su motivación real o lo que les llevó originalmente a entrar en este campo.

(O eso suponemos).

Las personas que realmente entendían la superinteligencia y la amenaza que supone simplemente no crearon empresas de IA. Quienes sí lo hicieron fueron aquellos que encontraron alguna forma de convencerse de que todo iría bien.

Humanos comunes, tecnología inusual

Hemos expuesto la psicología plausible tal como la vemos. Pero, francamente, no parece que todas estas explicaciones sean necesarias.

¿Cómo es posible que la gente haga algo autodestructivo que es enormemente rentable a corto plazo, que les reporta un estatus, una atención y un reconocimiento tremendos, que viene con la promesa de riquezas y poder incalculables, pero que al final les perjudicará por razones oscuras y complicadas en las que podrían encontrar fácilmente una excusa para no creer? Esa es una pregunta históricamente extraña. Comportamientos como ese aparecen constantemente en los libros de historia.

Al fin y al cabo, no importa cómo justifiquen sus acciones los ejecutivos o investigadores de la IA, ni es necesario comprender el tortuoso camino que cada uno de ellos recorrió para llegar a sus creencias actuales. No es de extrañar que las personas con riqueza o ambición se embarquen en actividades imprudentes, ni que los subordinados obedezcan órdenes. Los daños permanecen ocultos en el futuro, que resulta abstracto y fácil de ignorar.

Todo esto es un comportamiento humano normal. De seguir así, acabará como suele suceder, pero esta vez no quedará nadie para aprender y volver a intentarlo.