Si la IA valora la «fascinación», probablemente tenga mejores opciones.

La historia aquí es similar a la historia del amor filial:

• Por defecto, una superinteligencia probablemente no valoraría la «fascinación» o lo «interesante». Las IA de ajedrez no ganan al ajedrez sintiendo emociones como la «dedicación» o el «impulso de ganar». Estas emociones tienen importancia en los jugadores de ajedrez humanos, pero las IA pueden hacer el mismo trabajo de diferentes maneras. Del mismo modo, una superinteligencia probablemente haría el trabajo útil de aprender sobre el mundo, probar hipótesis, etc., sin utilizar la «curiosidad» o la «fascinación» para hacerlo.

  Una IA no sería necesariamente «fría y lógica», pero si tuviera su propio conjunto desordenado de impulsos e instintos, estos probablemente serían muy distintos a los de los humanos.

• Incluso si la IA acaba teniendo algo parecido a una preferencia por lo «interesante», e incluso si los humanos son interesantes para la IA en algún sentido, inevitablemente habrá formas de utilizar nuestra materia y energía que sean mucho más «interesantes».

  Una IA superinteligente podría construir otras mentes para estudiarlas o interactuar con ellas. Pero para casi cualquier disposición particular de valores, las mentes más fascinantes posibles de estudiar no serían las humanas. Para más información al respecto, véase «Los humanos casi nunca son la solución más eficiente».

• Si la IA considerara algo parecido a los humanos como lo más interesante o fascinante posible, el resultado probablemente sería horrible. Véase el debate en el capítulo 4.

No es literalmente imposible que una superinteligencia valore todo lo necesario para que los humanos prosperen, y que lo valore de manera adecuada. Pero hay un enorme universo de posibilidades fuera de esta. Los humanos no solemos pensar en el resto del universo de posibilidades, porque normalmente no tenemos razón para hacerlo, porque normalmente no interactuamos con optimizadores verdaderamente ajenos que optimizan hacia fines extraños.^*

Nunca antes hemos encontrado nada parecido a la inteligencia artificial, y muchas intuiciones normales sobre cómo se comporta la gente simplemente no se aplicarán a las superinteligencias.

Si la IA nos valorara como reliquias históricas, eso también sería horrible.

Es muy poco probable que a la IA le importe específicamente preservar su historia, y específicamente mantener vivos a los humanos con ese fin. Pero incluso si la IA se preocupa por preservar su historia por una razón u otra, eso no significa que nos mantenga vivos y sanos.

Quizás preserve nuestros cerebros en ámbar (o registre cómo solían estar organizados nuestros átomos en algún archivo digital), y nos mantenga como un registro de cómo fue la Tierra alguna vez. Y eso no suena como un gran resultado.

En su mayoría, esperamos que la superinteligencia artificial simplemente nos mate, pero solo en su mayoría. No podemos descartar que la IA mantenga registros de nosotros por una razón u otra, y hay algunos escenarios exóticos donde las emulaciones de humanos se ejecutan en un entorno controlado de vez en cuando.^† La mayoría de esos finales no son finales felices.