Las empresas de IA se enfrentan a un problema extraordinariamente difícil, en una situación donde está en juego la vida de todos. ¿Están al menos tratando la situación con la gravedad que merece?

Podemos contrastar a las empresas de IA con un grupo de personas que sí gestionan competentemente los riesgos de su competencia: los controladores aéreos.

La Administración Federal de Aviación de EE. UU. gestiona más de tres millones de pasajeros en más de 44 000 vuelos cada día. En las últimas dos décadas, ha habido un promedio de aproximadamente un accidente mortal al año, o aproximadamente un accidente por cada veinte millones de horas de vuelo.

Los informes post mortem sobre estos accidentes, como este de 2019 o este de 2018, contienen casi doscientas páginas de datos, pruebas, exámenes y detalles de la investigación. Catalogan las especificaciones técnicas de diseño de los subsistemas relevantes del avión, el historial laboral de los pilotos y los auxiliares de vuelo, detalles sobre la aerolínea y el aeropuerto, transcripciones de las comunicaciones de la cabina y datos meteorológicos precisos del día, la hora y el minuto del accidente.

Solo el resumen del análisis técnico realizado para determinar una causa probable ocupa veinte páginas. He aquí un extracto:

La pala n.º 13 del ventilador del motor izquierdo se separó debido a una grieta por fatiga de bajo ciclo que se originó en la cola de milano de la raíz de la pala, en la parte exterior de su revestimiento. El examen metalúrgico de la pala reveló que la composición y la microestructura del material eran consistentes con la aleación de titanio especificada, y que no se observaron anomalías en la superficie ni defectos en el material en la zona de origen de la fractura. La superficie de la fractura tenía grietas por fatiga que se iniciaron cerca de donde se preveía que ocurrirían las mayores tensiones por las cargas operativas y, por tanto, el mayor potencial de agrietamiento.

La pala del ventilador accidentada falló tras 32 636 ciclos desde su puesta en servicio. Del mismo modo, la pala fracturada relacionada con el accidente de PNS de agosto de 2016 (véase la sección 1.10.1), así como las otras seis palas agrietadas del motor accidentado de PNS, fallaron tras 38 152 ciclos desde su puesta en servicio. Además, entre mayo de 2017 y agosto de 2019 se identificaron otras 15 palas agrietadas en motores CFM56-7B, y estas habían acumulado una media de unos 33 000 ciclos desde su puesta en servicio cuando se detectaron las grietas.

Así es como se ve cuando una profesión técnica se toma en serio el desafío de evitar un desastre.^*

Contrastemos ahora la profesión de controlador aéreo con el comportamiento de las empresas de IA que se describe en el capítulo 11.

Las empresas de IA se encuentran en la fase de lanzar ideas al aire y recitar lugares comunes vagamente tranquilizadores a periodistas e inversionistas. En estas empresas, la alineación de la superinteligencia se trata como un juego, no como una disciplina de ingeniería seria, y mucho menos como una letalmente peligrosa.

El requisito de la NASA para el lanzamiento de un cohete tripulado es que tenga como máximo [una probabilidad de 1 entre 270 de matar a la tripulación] (https://ntrs.nasa.gov/api/citations/20200001592/downloads/20200001592.pdf), y se toman ese límite muy en serio, a pesar de que las únicas personas en riesgo son una tripulación de voluntarios que han aceptado el riesgo. Los laboratorios de IA no aspiran a alcanzar una vara ni remotamente tan estricta, y la tecnología que están desarrollando pone en peligro a mucho más que a unos cuantos voluntarios.

El único incidente histórico que conocemos en el que los científicos expresaron su profunda preocupación por que algún invento pudiera matar literalmente a todo el mundo ocurrió durante el Proyecto Manhattan. Algunos científicos expresaron su preocupación por que una bomba nuclear pudiera alcanzar una temperatura tan alta que comenzara a fusionar el nitrógeno de la atmósfera, convirtiéndola en plasma y acabando con toda la vida en la Tierra. Afortunadamente, tenían un buen conocimiento de las leyes físicas en juego y pudieron hacer los cálculos. Antes de hacer los números, uno de los científicos, Arthur Compton, decidió que abandonaría el proyecto si la probabilidad de incendiar la atmósfera era superior a 3 entre 1 000 000. Pensó que era mejor arriesgarse a que los nazis se adelantaran a los aliados en la fabricación de la bomba que arriesgarse a que, aunque fuera con una probabilidad de 3 entre 1 000 000, todo el aire se convirtiera en plasma por sus propias manos.

Recordemos que Sam Altman, director general de OpenAI, ha declarado públicamente lo siguiente:

El desarrollo de inteligencia artificial superhumana es probablemente la mayor amenaza para la existencia continuada de la humanidad.

Y el director de Anthropic, Dario Amodei, ha declarado públicamente lo siguiente:

Creo que he dicho a menudo que la probabilidad de que ocurra algo realmente catastrófico a escala de la civilización humana podría estar entre el diez y el veinticinco por ciento[.]

Y Elon Musk, director de xAI, ha declarado públicamente lo siguiente:

Creo que para cuando reaccionemos en materia de regulación de la IA, ya será demasiado tarde. La IA es un riesgo fundamental para la existencia de la civilización humana.

No nos malinterpretes: creemos que la probabilidad del «diez al veinticinco por ciento» de Amodei es ridículamente optimista, dada la dificultad del problema y el hecho de que los humanos esta vez no podemos aprender por ensayo y error. Pero, aun así, sus cifras son demenciales.

Los proyectos de ingeniería serios y críticos para la seguridad son fundamentalmente distintos al funcionamiento de los laboratorios de IA. Iniciativas serias como la NASA, el Proyecto Manhattan o el control del tráfico aéreo tienen un amplio conocimiento de lo que ocurre exactamente dentro de los sistemas que gestionan, y realizan análisis post mortem detallados de cada fallo. Le dan una gran importancia a las sorpresas y a las anomalías, porque saben que los fallos catastróficos a menudo se componen de muchos fallos de funcionamiento menores que se encadenan justo de la peor manera.

Mientras tanto, las IA están emitiendo una serie cada vez mayor de señales de advertencia, y los laboratorios se limitan a seguir avanzando, diciendo que probablemente todo saldrá bien, de un modo u otro.

Ni siquiera intentan fingir el nivel de respeto que el control del tráfico aéreo tiene por un verdadero desafío de seguridad; simplemente lanzan garantías optimistas como «¡GPT-4 es nuestro modelo mejor alineado hasta la fecha!».

Lo cual, en cierto modo, está bien, porque así resulta más fácil ver que estas empresas no son el tipo de entidades a las que se debería confiar la resolución de un problema como la alineación de la superinteligencia artificial.

En un entorno técnico como el actual —en el que las IA se cultivan en lugar de fabricarse y la humanidad tiene solo una oportunidad real—, nadie está en condiciones de hacerlo de forma segura, por muy cauteloso y riguroso que sea su enfoque de ingeniería.

Pero sin duda simplifica las cosas ver que ninguno de los desarrolladores de esta tecnología sea ni siquiera mínimamente cauto o riguroso en sus planes o prácticas de seguridad.