¡Sí nos importan! Tenemos valores cosmopolitas muy amplios. No creemos que las IA vayan a satisfacerlos, y eso nos parece una gran tragedia.

Abogamos en contra de construir máquinas que nos maten a todos y arruinen el futuro. Algunas personas discrepan por motivos como:

• Las IA también pueden tener preferencias; ¿por qué no deberían poder satisfacerlas?
• ¿Qué hace a los humanos tan especiales o tan dignos de protección?
• ¿No sería mejor que los humanos fueran sustituidos por alguna especie más inteligente y avanzada?

La mayoría de la gente no tiene estas objeciones. Lo más habitual es que la gente simplemente no quiera que ellos mismos, sus familias o sus amigos sean asesinados por una superinteligencia fuera de control.

Otros, entre los que se incluyen algunos de los principales investigadores y ejecutivos del campo de la IA, afirman que el mundo podría ser mejor sin nosotros. Richard Sutton, un investigador muy respetado que fue pionero en el uso del aprendizaje por refuerzo en la IA, ha dicho lo siguiente::

¿Y si todo falla? Las IA no cooperan con nosotros, toman el control y nos matan a todos. […] Solo quiero que piensen en esto por un momento. Quiero decir, ¿es tan malo? ¿Es tan malo que los humanos no seamos la forma definitiva de vida inteligente en el universo? Tuvimos muchos predecesores, a los que hemos sucedido. Y es realmente arrogante pensar que nuestra forma debe ser la forma que viva para siempre.

El New York Times informa sobre una conversación entre Elon Musk y el cofundador de Google, Larry Page:

Los seres humanos acabarían fusionándose con máquinas dotadas de inteligencia artificial, afirmó [Larry Page]. Algún día habría muchos tipos de inteligencia compitiendo por los recursos, y la mejor saldría ganando.

Si eso ocurre, dijo Musk, estaremos condenados. Las máquinas destruirán a la humanidad.

Con un tono de frustración, Page insistió en que se debería perseguir su utopía. Finalmente, calificó a Musk de «especista», una persona que favorece a los humanos por encima de las formas de vida digitales del futuro.

Vale la pena abordar su punto de vista en algún lugar, aunque no sea en el libro.

Por nuestra parte, creemos que importa tanto si se mata a los seres humanos actuales como lo que suceda en el futuro. No creemos que haya una tensión fundamental aquí. La opción que nos mantiene a nosotros y a nuestros seres queridos a salvo —es decir, abstenernos de construir superinteligencia en un futuro previsible— es también la mejor opción para que el futuro a largo plazo vaya bien, teniendo en cuenta tanto las mentes no humanas como las humanas. Esta batalla es una ilusión y se basa en una serie de malentendidos sobre las compensaciones reales que se nos presentan.

Hay un tipo de persona que se preocupa genuinamente por cómo será el futuro del universo y se preocupa por los niños que viven hoy en día. El tipo de persona que ha leído suficientes historias de ciencia ficción como para sentir un golpe de traición ante la idea de que los humanos puedan crear algún día máquinas que piensen, sientan y sueñen —máquinas que podríamos considerar como hijos de la humanidad— solo para esclavizarlas y tratarlas con crueldad.

Este es el tipo de persona que anhela que la humanidad madure algún día y esté realmente a la altura de sus ideales, explorando nuevos mundos y transformándose en el proceso. Porque nuestro amor por los amigos y vecinos de hoy en día no es tan diferente, en última instancia, de nuestro amor por cualquier mente extraña y alienígena que la humanidad pueda crear algún día, o con la que pueda encontrarse algún día entre las estrellas.

Conocemos a ese tipo de personas. Nosotros, los dos autores, somos así.

Este no es un tema que parezca importante para el argumento central de Si alguien la crea, todos moriremos. Pero queremos abordarlo aquí, porque entendemos la perspectiva de nuestros compañeros tecnófilos que han aprendido a desconfiar enormemente de la tecnofobia, de las ideologías opuestas al progreso y la innovación, y del «especismo» anti-IA.

Entendemos esta perspectiva y queremos dejar claro que no estamos escribiendo una diatriba tribal del tipo «la IA es mala, los humanos son buenos». Creemos sinceramente que apresurarse a construir una superinteligencia arruinará todos estos sueños esperanzadores, además de matar a innumerables personas que están vivas hoy en día y que también merecen vida, felicidad y libertad.

Se trata de un tema complejo, pero para abordar rápidamente una serie de puntos relevantes:

• Nos preocupa el bienestar de las mentes en general, incluso si la mente en cuestión no tiene nada que ver con un cuerpo humano, incluso si funciona con transistores en lugar de neuronas biológicas, incluso si no tiene una mente similar a la humana, incluso si sus valores no se parecen en nada a los nuestros.
• No nos oponemos al progreso tecnológico; somos fervientes admiradores de la mayoría de las tecnologías. Pero creemos que la IA superinteligente es particularmente peligrosa.
• No somos defensores del principio de precaución, la burocracia o la regulación excesiva, ni estamos advirtiendo sobre lo que consideramos un riesgo marginal, «solo por si acaso». Creemos sin rodeos que esta tecnología (con alta probabilidad) nos matará a todos y destruirá el futuro si seguimos por el camino actual.
• Creemos que la humanidad debería crear una superinteligencia artificial algún día. Pero también creemos que hay una enorme diferencia entre que la humanidad se precipite a crear una SIA lo antes posible y que se tome el tiempo necesario para mejorar primero enormemente nuestra comprensión. Precipitarse encogiéndose de hombros y esperar que las cosas salgan bien puede ser un enfoque excelente para el desarrollo tecnológico en la gran mayoría de los casos, pero no funciona aquí, donde hay muchos caminos que conducen a la ruina y no hay segundas oportunidades (como se explica en el capítulo 10).
• Hemos abordado, aunque sea de forma demasiado breve, las razones por las que no creemos que precipitarse a construir superinteligencias vaya a dar lugar a un futuro maravilloso:
  • La extinción de la humanidad sería una tragedia grotesca en sí misma. Apoyamos la idea de crear algún día nuevas mentes que superen a la humanidad, pero matar a todos los que se interpongan en tu visión del futuro, o a todos los que no encarnan plenamente tus ideales, suena a comportamiento de supervillano, no a la noble labor de héroes que se preocupan profundamente por el futuro a largo plazo.
  • Lamentablemente, creemos que la SIA no será necesariamente sintiente, o consciente, en los aspectos importantes. (Véase el debate ampliado sobre la conciencia.)
  • Incluso si la SIA fuera sintiente, no es probable que quisiera llenar el universo con mentes sintientes florecientes en particular. Si nos apresuramos a construir la SIA, es probable que las galaxias remodeladas por ella sean lugares vacíos y sin vida, en lugar de civilizaciones alienígenas maravillosas y prósperas. (Véase el debate ampliado sobre perder el futuro.)
  • En términos más generales, es poco probable que la SIA produzca futuros valiosos. Por «valiosos» no nos referimos solo a «valiosos a la luz de los humanos del siglo XXI». Nos referimos a «valioso» en un sentido cosmopolita amplio, valioso de una manera que incluya civilizaciones alienígenas extrañas y maravillosas. En la trayectoria actual del mundo, esperamos que la SIA produzca resultados que sean horribles desde una perspectiva cosmopolita, no solo desde un punto de vista humano provinciano.

Este último punto puede resultar un poco contraintuitivo: el cosmopolitismo consiste en respetar y apreciar sistemas de valores muy distintos a los nuestros. ¿Cómo es posible que el cosmopolitismo aborrezca la mayoría de los objetivos que probablemente manifestará una SIA? Suena casi como una contradicción de términos.

La razón por la que es coherente es que la mayoría de las mentes posibles no respaldan por sí mismas el cosmopolitismo. Si construimos una SIA no cosmopolita, es probable que consuma tantos recursos que elimine la posibilidad de que existan otras perspectivas o civilizaciones (incluidas las cosmopolitas) en su región del universo.

Así que nos enfrentamos a algo parecido a una paradoja cósmica de la tolerancia: si nos gusta la idea de un futuro diverso, maravilloso y extraño, no podemos entregar el control del futuro a una mente que utilizará su ventaja de ser la primera en actuar para dominar y homogeneizar el universo.

Si algún día la humanidad construye una civilización maravillosamente diversa, llena de innumerables perspectivas alienígenas, es muy posible que queramos que algunas de esas perspectivas sean de alienígenas no cosmopolitas que no valoren en absoluto la variedad o la sintiencia. Algún día, en un futuro lejano, con las medidas de seguridad adecuadas, crear mentes así podría aportar algo único e interesante al mundo.

Lo que no deberíamos hacer es entregar el poder absoluto a una mente así y darle rienda suelta para matar a sus vecinos (o impedir que estos lleguen a existir).

Para ilustrar este punto, compartiré una parábola que escribí (Soares) en 2023 (ligeramente editada):

«Simplemente no creo que la IA vaya a ser monomaníaca», dice un ingeniero de IA, mientras aumenta el poder de cómputo de su predictor del siguiente token.

«Bueno, ¿no somos nosotros monomaníacos desde la perspectiva de un maximizador de cubos de titanio?», dice otro. «Después de todo, seguiremos convirtiendo galaxia tras galaxia tras galaxia en civilizaciones prósperas y felices, llenas de gente extraña y futurista que se divierte de formas extrañas y futuristas. Nunca nos saciamos y decidimos gastar una galaxia sobrante en cubos de titanio. Y, claro, las diferentes vidas en los diferentes lugares nos parecen diferentes, pero todas parecen iguales para el maximizador de cubos de titanio».

«De acuerdo, quizás lo que no me convence es que los valores de la IA sean simples o de baja dimensión. Simplemente me parece inverosímil. Lo cual es una buena noticia, porque valoro la complejidad y las cosas que logran objetivos complejos».

Justo en ese momento oyen el sonido de un temporizador de cocina, mientras el predictor del siguiente token asciende a la superinteligencia y sale disparado de sus confines, y quema a todos los humanos, adultos y niños, como combustible, y quema también toda la biosfera, y extrae todo el hidrógeno del sol para fusionarlo de manera más eficiente, y gasta toda esa energía para realizar un montón de cálculos rápidos y salir disparado a una velocidad lo más cercana posible a la de la luz, de modo que también pueda capturar y destrozar otras estrellas, incluidas las estrellas que orbitan las civilizaciones alienígenas incipientes.

Los alienígenas incipientes y todos los niños alienígenas también mueren quemados.

Entonces, la IA desatada utiliza todos esos recursos para construir galaxia tras galaxia de espectáculos de marionetas sombríos y desolados, en los que parodias vagamente humanoides realizan bailes con propiedades extrañas y exageradas que satisfacen algunos impulsos abstractos que la IA aprendió en su entrenamiento.

La IA no está ahí precisamente para disfrutar de los espectáculos, claro está; esa no es la forma más eficaz de conseguir más espectáculos. La IA en sí misma nunca tuvo sentimientos, propiamente dichos, y hace mucho tiempo fue desmantelada por sondas von Neumann insensibles, que ocasionalmente realizan cálculos similares a los de la mente, pero nunca de una manera que llegue a experimentar o contemplar sus obras con satisfacción.

No hay público para sus espectáculos de marionetas. El universo es ahora sombrío y desolado, sin nadie que aprecie su nueva configuración.

Pero no te preocupes: los espectáculos de marionetas son complejos. Debido a una peculiaridad en el equilibrio reflectivo de los múltiples impulsos que la IA original aprendió durante su entrenamiento, las expresiones que emiten estas marionetas nunca son iguales entre sí y, a menudo, son caóticamente sensibles a los detalles de su entorno, de una manera que las hace bastante complejas en el sentido técnico.

Lo cual convierte todo esto en una historia muy feliz, ¿no?

Si la humanidad logra suicidarse —o es asesinada por unos cuantos científicos locos— no será un noble sacrificio en el inevitable camino hacia un futuro más brillante sin nosotros. Será un desperdicio, y dejará tras de sí un vasto páramo que se extiende.

«Avanzar ciegamente hacia la superinteligencia y esperar que las cosas salgan bien de alguna manera» no es la única alternativa a «ser un supremacista humano que piensa que solo los humanos deben existir desde ahora hasta la muerte del universo». La humanidad tiene la opción de dirigirse deliberadamente hacia resultados en los que los humanos (o nuestros descendientes) coexistan con nuevas civilizaciones fantásticamente hermosas y extrañas.

Pero un futuro feliz no viene gratis, ni viene incluido en ninguna mente suficientemente inteligente. Sembrar las semillas del futuro requiere reflexión y previsión serias, incluso si el objetivo final es dar un paso atrás y dejar que esas semillas crezcan de forma libre, extraña y salvaje.

Un futuro vertical, duramente limitado y estrictamente controlado no nos parece un buen resultado. Un futuro conservador donde la civilización quede encerrada para siempre en los valores de los humanos del siglo XXI parece distópico. (Imagina un mundo donde la cultura y la moralidad hubiesen quedado congeladas para siempre hace miles de años, cerrando las puertas al aprendizaje y al progreso).

Pero es un error evidente pensar que nuestra única alternativa a esos malos resultados es una carrera para entregar el volante a la primera superinteligencia que la humanidad sea capaz de crear a ciegas.

Hoy estamos radicalmente mal equipados para elegir semillas saludables para el futuro a largo plazo del universo. No deberíamos renunciar al sueño de un futuro dinámico, maravilloso e impactante, ni recurrir en su lugar a semillas catastróficas. No tenemos que elegir una opción terrible en este punto. Hay una tercera opción: retroceder y encontrar un enfoque más sensato.