Nuestra historia muestra cómo la IA es susceptible de tener preferencias extrañas y no intencionadas.

En la primera parte del libro, profundizamos en aspectos de la IA que creemos que están radicalmente malinterpretados y son pertinentes para el peligro de la superinteligencia. El capítulo 3 explica cómo el aumento de la inteligencia va de la mano con que las IA tomen su propia iniciativa y persigan sus propios fines. El capítulo 4 explica que esas preferencias serán extrañas y, como mínimo, ligeramente distintas a lo que cualquier ser humano pretendía o pedía. El capítulo 5 argumenta que esas pequeñas diferencias serán suficientes para que las IA prefieran un mundo sin nosotros, si fueran lo suficientemente inteligentes como para conseguirlo.

En la segunda parte del libro, procuramos presentar esas ideas de forma concreta, para ver cómo se aplican en la práctica. Por ejemplo, cuando Sable pensaba en los problemas matemáticos del principio, procuramos detallar una serie de impulsos y motivaciones que lo animan:

A lo largo de ese entrenamiento, Sable ha desarrollado una predisposición a adquirir conocimientos y habilidades. A explorar siempre los límites de cada problema. A nunca desperdiciar un recurso escaso.

Esto ejemplifica los puntos que planteamos en el capítulo 3, sobre cómo el entrenamiento de las IA para que sean eficaces las lleva a desarrollar impulsos y tendencias que desde fuera pueden parecer «deseos». Y en el siguiente párrafo:

De modo que cuando Sable utiliza sus pensamientos para explorar más conocimientos y habilidades, no lo hace con la sola intención de encontrar líneas de abordaje para los problemas matemáticos. Tampoco lo hace por el simple placer del conocimiento o de adquirir nuevas habilidades; en su interior, Sable no funciona del modo en que lo hace un humano.

Sugerimos cómo esos impulsos y tendencias forman la semilla de preferencias extrañas y no deseadas, como se analiza en el capítulo 4.

Toda esta historia es, en cierto sentido, un intento de dar vida a los argumentos de la primera parte del libro, a la vez que prepara el terreno para los de la tercera.