Porque no tenemos la capacidad técnica para desarrollarla de forma segura.

Ya mencionamos este tema en el libro, donde señalamos que una colaboración internacional sigue requiriendo una prohibición internacional en todos los demás lugares (porque, de lo contrario, los colaboradores internacionales no tendrían el tiempo que necesitan). Si suponemos que en la Tierra se establece una prohibición internacional, ¿qué hay de malo en tener un único instituto de investigación unificado y colaborativo?

El problema es que una colaboración internacional de alquimistas no puede transmutar el plomo en oro, como tampoco puede hacerlo un único alquimista. El mejor plan que acuerden todos los alquimistas seguirá sin funcionar.

En relación con esto, nos preocupa que las personas que dirijan un instituto internacional como ese sean el tipo de burócratas que piensan que aprobar investigaciones es parte de su trabajo. O del tipo que piense que su mandato es permitir que los investigadores sigan produciendo avances médicos cada vez más brillantes. O que piense que se vería mal decir «no» a todos los brillantes y entusiastas optimistas de la IA que proponen ideas brillantes para construir una inteligencia artificial aún más potente que, según garantizan, será segura.

Nos preocupa que un líder así dirija el centro internacional para seguir creando IA cada vez más inteligentes, lo que provocaría que todo el mundo muriera.

Incluso si el mandato de la organización permite nominalmente dar marcha atrás si la investigación parece peligrosa, se necesitaría una persona excepcional y valiente para decir «no» a miles de propuestas de investigación diferentes, año tras año, sin excepciones, durante lo que probablemente serían décadas. Todo ello mientras los científicos especializados en IA siguen prometiendo riquezas incalculables, una cura para el cáncer y todo tipo de milagros tecnológicos, si la organización simplemente relajara sus precauciones.

Hemos dedicado nuestras vidas a aprender sobre inteligencia artificial, no sobre la cultura de las instituciones y las burocracias, por lo que tenemos menos confianza en nuestras predicciones en este ámbito. Aun así, sí que hemos leído libros de historia.

Los operadores de Chernóbil siguieron adelante con su desastrosa prueba de seguridad porque ya se había abortado tres veces. Abortarla por cuarta vez habría sido vergonzoso.

Apenas tres meses antes del accidente de Chernóbil, la NASA había lanzado el transbordador espacial Challenger en su último y fatídico vuelo, porque los responsables creían que su trabajo era lanzar transbordadores espaciales. El lanzamiento ya se había retrasado tres veces. Abortarlo por cuarta vez habría resultado embarazoso.

A juzgar por los casos de Chernóbil y el Challenger, tres retrasos parecen ser el límite humano. Supongamos que la Tierra establece una colaboración internacional en materia de IA y que alguna «prueba de seguridad de la IA» falla tres veces. Siendo realistas, los seres humanos somos el tipo de criaturas que pulsarían «adelante» por cuarta vez a pesar de algunas dudas persistentes, porque eso resulta menos embarazoso que posponer la prueba de nuevo. Salvo que, en el caso de la IA, no solo arrasaría la ciudad de Chernóbil o mataría a una tripulación de astronautas. Mataría a todo el mundo.

Estamos totalmente de acuerdo con la idea de que la humanidad debería construir, con el tiempo, una IA más inteligente que los humanos.^* Pero precipitarse a establecer un centro internacional de investigación en IA supone no tomarse en serio el desafío técnico que tenemos por delante.

Dado el lamentable estado de los conocimientos y la competencia de la humanidad en este tema, no importa quién esté al mando. Si alguien la construye, todos mueren.

Notes