Muchas tecnologías están prohibidas o muy reguladas.

La fisión nuclear es el ejemplo clásico de tecnología regulada. Las empresas privadas no tienen permitido enriquecer uranio sin la supervisión del gobierno, por muy útil que sea la energía barata.

De hecho, la humanidad es bastante buena regulando y ralentizando todo tipo de otras tecnologías. Estados Unidos regula estrictamente los nuevos medicamentos y dispositivos médicos, la construcción de viviendas, la generación de energía nuclear, la programación de radio y televisión, las prácticas contables, el cuidado infantil, el control de plagas, la agricultura y docenas de otras industrias. Todos los estados exigen un examen de licencia para peluquería y manicura. La mayoría de ellos exigen uno para masajistas.

Opinamos que, en muchos casos, la humanidad regula demasiado la tecnología. Por ejemplo, nos parece que la Administración de Alimentos y Medicamentos de Estados Unidos (FDA) está matando a mucha más gente (al ralentizar o impedir la creación de medicamentos que salvan vidas mediante requisitos onerosos) de la que salva (al impedir la comercialización de medicamentos peligrosos). Nos parece que el precio de la vivienda es demasiado alto, en parte debido a las restricciones legales de zonificación sobre lo que se puede construir y dónde. Nos parece que Estados Unidos prácticamente ha destruido su propia industria de energía nuclear mediante regulaciones onerosas. Y, en serio, ¿peluqueros?

La humanidad tiene sin duda la capacidad de impedir el progreso tecnológico. Sería realmente trágico y absurdo que utilizáramos esa capacidad en la medicina, la vivienda y la energía, y no en una de las pocas tecnologías que realmente nos mataría a todos si se creara.

Una prohibición puede estar muy focalizada.

Una prohibición de la I+D avanzada en IA no tiene por qué afectar a la persona promedio. Ni siquiera es necesario retirar los chatbots modernos o cerrar la industria de los coches autónomos.

La mayoría de la gente no compra docenas de GPU de IA de última generación y las instala en sus garajes. La mayoría de la gente no gestiona grandes centros de datos. La mayoría de la gente ni siquiera sentirá los efectos de una prohibición de la investigación y el desarrollo de la IA. Es solo que ChatGPT no cambiaría tan a menudo.

La humanidad ni siquiera tendría que dejar de utilizar todas las herramientas de IA actuales. ChatGPT no tendría que desaparecer; podríamos seguir buscando la forma de integrarlo en nuestras vidas y en nuestra economía. Eso seguiría siendo un cambio mayor que el que el mundo solía ver durante generaciones. Nos perderíamos los nuevos desarrollos en IA (del tipo que se producirían a medida que la IA se vuelve más inteligente, pero aún no lo suficiente como para matar a todo el mundo), pero la sociedad en su mayoría no está clamando por esos desarrollos.

Y nosotros viviríamos. Y veríamos a nuestros hijos vivir.

Los avances que la gente está reclamando, como el desarrollo de nuevas tecnologías médicas que salvan vidas, parecen posibles de alcanzar sin tener que perseguir también la superinteligencia. Estamos a favor de las excepciones para la IA médica, siempre y cuando funcionen con una supervisión adecuada y se mantengan alejadas de la peligrosa generalidad.

Los gobiernos que buscan evitar la creación de una superinteligencia fuera de control tendrían que garantizar que los chips de IA no se utilizaran para desarrollar IA más capaces. Por lo tanto, la cuestión de qué actividades y servicios de IA podrían continuar dependería de qué mecanismos de verificación podrían utilizarse para garantizar que no se produjera un desarrollo peligroso de la IA. Unos mejores mecanismos de verificación podrían reducir el costo de detener el desarrollo de la IA, al permitir que continuara un conjunto más amplio de actividades.

Otra medida que podría ser de ayuda marginal es instalar interruptores de apagado en los chips de IA y establecer protocolos de supervisión y apagado de emergencia para cualquier gran centro de datos en uso.^* Los reactores nucleares están diseñados para poder apagarse rápidamente en caso de emergencia. Si estás de acuerdo en que la superinteligencia plantea una amenaza de extinción, entonces parece obvio que los chips de IA y los centros de datos deberían diseñarse para que los reguladores puedan apagarlos con facilidad.

No se trata de quemar toda la tecnología porque la odiemos.^† Se trata de evitar seguir avanzando por el camino que termina en la extinción humana.

Gran parte del problema es que la gente no comprende la amenaza inminente de la superinteligencia artificial.

Según nuestra experiencia, quienes argumentan que la humanidad no puede detener la carrera hacia la superinteligencia simplemente no logran comprender que, si alguien la construye, todos morirán.

«¡Pero la IA ofrece grandes beneficios!» En realidad, no. No se puede aprovechar el poder de la superinteligencia si esta mata a todo el mundo. Si la humanidad quiere cosechar los beneficios que ofrece la superinteligencia, necesita encontrar la manera de gestionar la transición a la superinteligencia sin que ello mate a todo el mundo como efecto secundario.

«¡Pero las centrales nucleares dan miedo porque se asocian con las bombas atómicas que arrasaron ciudades, mientras que la IA se asocia con herramientas benignas como ChatGPT!». Eso es cierto, al menos por ahora. Si la humanidad nunca logra comprender que la superinteligencia artificial construida utilizando métodos remotamente similares a los modernos simplemente mataría a todo el mundo, es posible que no le ponga fin. Pero el obstáculo no es que la humanidad nunca logre controlar o frenar las tecnologías incipientes (como las armas nucleares o la energía nuclear); el obstáculo es que la gente no comprende la amenaza.

De ahí este libro. Como analizamos en el último capítulo, la humanidad es capaz de mucho cuando suficientes personas comprenden la naturaleza del problema.