Somos optimistas sobre muchas cosas, pero la superinteligencia no es como la mayoría de las cosas.

Nos consideramos mucho más optimistas y entusiastas que la persona promedio en lo que respecta a la energía nuclear, la energía geotérmica, la ingeniería genética, la neuroingeniería, la biotecnología, la nanotecnología, el desarrollo farmacéutico y muchas otras tecnologías.^*

Creemos estar al menos algo menos preocupados que la mayoría de la gente por el riesgo de una guerra nuclear, los peores escenarios a causa del cambio climático y muchos otros riesgos y desastres potenciales. Creemos que la humanidad va, en general, por buen camino, y que si evitamos exterminarnos a nosotros mismos, es probable (aunque no seguro) que el futuro sea maravilloso para todos, con un progreso social y tecnológico que mejore cada vez más las cosas con el tiempo.

También somos más optimistas que muchos sobre la naturaleza humana. Creemos en la bondad de la humanidad y en el potencial de esa bondad para profundizarse y crecer si sobrevivimos para convertirnos en quienes deseamos ser. En general, no tememos que la humanidad termine en un futuro sombrío o distópico, si no creamos una IA que nos impida tener un futuro.

Nuestra preocupación por una IA más inteligente que los humanos no está impulsada por un cinismo o pesimismo genérico. Una IA más inteligente que los humanos es muy distinta a otras tecnologías que la precedieron.

Otras tecnologías no piensan por sí mismas, ni traman formas de escapar, ni construyen tecnología aún más poderosa. Una IA más inteligente que los humanos es un caso especial.

Consideramos que nuestras preocupaciones sobre la IA se generalizan a muy pocas otras cosas, porque muy pocas cosas son remotamente tan peligrosas.

E incluso en el caso de la superinteligencia, que supone una amenaza excepcionalmente grande y un enorme desafío para la comunidad internacional, creemos que hay esperanza de que el futuro vaya bien. Creemos que la humanidad tiene la capacidad de frenar el desarrollo de la IA, y que esto podría ser suficiente para situarnos en una trayectoria positiva. Incluso creemos que (con mucho más tiempo) la humanidad podría ponerse en una buena posición para construir la superinteligencia de forma segura.

Pero para llegar ahí, primero tenemos que enfrentar la realidad de la situación.

Lo importante son los argumentos, no las historias alarmistas.

Hemos proporcionado una larga lista de maneras en las que, por ejemplo, «la superinteligencia está fascinada con los humanos» probablemente saldría mal en la vida real. Al leer una lista como esta, imaginamos que algunos lectores podrían tener una respuesta como:

Los optimistas de la IA tienen muchas historias esperanzadoras. Las de ustedes son aterradoras. Sin embargo, todos reconocen que el futuro es difícil de predecir. Así que, al escuchar todas estas historias, siento que debería asignar una probabilidad media a una catástrofe de IA, no una probabilidad extrema en ninguna dirección.

Pero ustedes no dicen: «Hay historias aterradoras y también hay historias esperanzadoras, así que no podemos estar seguros de lo que va a pasar y deberíamos prohibir la superinteligencia solo por precaución». Dicen que las historias esperanzadoras están escogidas a conveniencia y son poco probables, y que sus propias historias deberían tener más peso. ¿Por qué?

La respuesta breve es que no se pueden hacer buenas predicciones sobre el futuro simplemente contando todos los relatos sombríos y todos los relatos felices para luego pesarlos como canicas en una balanza. Pensar en diferentes escenarios a veces puede ser útil, pero no exactamente de esa manera.^†

Para ilustrar el punto general: imagina que alguien dice: «Dentro de doscientos años, existirán exactamente ocho ballenas, y todas serán púrpuras».

Los humanos tienen una imaginación desbordante. Alguien podría llenar un libro con cientos de historias sobre cómo se redujo la población de ballenas a exactamente ocho ejemplares, todos ellos púrpuras. Otra persona podría llenar un libro con cientos de historias en las que no hay exactamente ocho ballenas. No se pueden hacer predicciones precisas diciendo: «Bueno, ambos lados tienen historias que suenan plausibles, así que seguramente la verdad esté en algún punto intermedio».

Para averiguar cuál es verdadera, hay que examinar los argumentos reales. En el caso de las ballenas púrpuras, el argumento es esencialmente que el resultado es demasiado estrecho y específico, y que no se logrará a menos que las fuerzas dominantes que dirigen el mundo estén tratando de lograrlo. Podemos decir prácticamente lo mismo sobre la IA superinteligente que produce resultados buenos y compatibles con los humanos.

Alguien que tuviera la tarea de disipar una por una las historias de las «ocho ballenas púrpuras» terminaría atrapado en un bucle bastante repetitivo diciendo: «No, eso es demasiado específico; hay muchas otras formas en que el futuro podría desarrollarse que no llevaría exactamente a ese resultado; imaginar que va a pasar exactamente eso es autoengañarse».

Este es más o menos el papel en el que nos encontramos los autores con respecto a la situación de la IA: los humanos pueden contar todo tipo de historias donde todo sale bien, pero todas ellas, en última instancia, implican imaginar que el futuro sigue un único camino estrecho cuando en realidad hay muchas otras formas en que el futuro podría desarrollarse. Por eso seguimos repitiendo que los humanos no son la solución más eficiente para casi ningún problema y que a las IA no les importaremos ni siquiera un poco.

Si alguien la crea, todos moriremos no se limita a enumerar un montón de historias pesimistas para concluir que la IA es peligrosa. En el libro, exponemos un argumento que, en cierto modo, es bastante sencillo: los investigadores están tratando de construir inteligencias artificiales mucho más inteligentes que cualquier humano. En algún momento, es probable que lo consigan. Los métodos actuales dan a los humanos muy poca capacidad para elegir hacia qué tipo de futuro se dirigen las IA. Hay muchas direcciones diferentes que podrían tomar, y la mayoría de ellas no son buenas.

La razón por la que enumeramos todos los contraargumentos no es para abrumarte con pesimismo (si eres el tipo de persona que lee los recursos en línea de principio a fin). Es que, en realidad, nos hacen todas estas preguntas una y otra vez, y es útil tener un repositorio de respuestas en algún lugar. No es necesario que las leas todas. De todas formas, las respuestas se hacen eco unas de otras.

Lo que importa son los argumentos en sí mismos, no el sesgo de alguien hacia el optimismo o el pesimismo, ni el número de historias que alguien pueda contar.