Probablemente no.

Tu preferencia por el oxígeno es saciable: lucharás por llegar a la superficie si tu equipo de buceo falla durante una inmersión, pero cuando hay suficiente, dejas de preocuparte por ello y probablemente no mantienes una reserva cada vez mayor de tanques de oxígeno.

Por otro lado, tu preferencia por la riqueza, por las experiencias agradables, por la admiración de tus compañeros, probablemente sea algo menos saciable. Si vieras una oportunidad fácil de obtener mucha más riqueza, probablemente la aprovecharías. Si vieras una oportunidad fácil de mejorar enormemente el mundo, esperamos que la aprovechases, en lugar de conformarte con la alegría y la comodidad que ya existen. Esperamos que sigas haciendo del mundo un lugar mejor durante mucho tiempo, si sigues viendo formas de hacerlo que te parezcan fáciles, baratas y divertidas desde tu perspectiva.

Y, en general, la suma de una preferencia saciable por el oxígeno y una preferencia insaciable por mejorar el mundo es un conjunto de preferencias insaciables.

Lo mismo ocurre con las IA. Aunque tengan innumerables preferencias complejas y la mayoría de ellas puedan satisfacerse, sus preferencias, en su conjunto, siguen sin ser saciables.

Incluso si los objetivos de la IA parecen saciarse rápidamente —como si la IA pudiera satisfacer en su mayor parte sus extraños y ajenos objetivos utilizando únicamente la energía que sale de una sola central nuclear—, basta con un aspecto de sus innumerables objetivos que no se sacie. Basta con una preferencia que no se satisfaga perfectamente para que prefiera utilizar todos los recursos restantes del universo para perseguir ese objetivo.

O, alternativamente: basta con un objetivo del que la IA nunca esté segura de haber logrado. Si la IA tiene incertidumbre, preferirá que los recursos del universo se destinen a acercar su probabilidad cada vez más a la certeza, en pequeños incrementos de confianza.

O, alternativamente: basta con una cosa que la IA desee defender hasta el fin de los tiempos para que prefiera que los recursos del universo se gasten en agregar materia y construir defensas para evitar la posibilidad de que alienígenas distantes aparezcan dentro de millones de años e invadan su espacio.

Hay muchas formas en las que una IA puede sentirse insatisfecha. Y cuanto más confusos y complicados sean sus objetivos, más probable será que al menos uno de esos objetivos sea difícil o imposible de satisfacer por completo.

Incluso si pudieras crear una superinteligencia que se centrara de forma monomaníaca en una sola cosa simple —como pintar de rojo un coche en particular—, esa IA probablemente aún podría encontrar alguna forma de gastar energía extra para asegurarse por completo de que el coche fuera rojo, y construir defensas alrededor del coche para que nadie pudiera jamás pintarlo de azul, y así sucesivamente.

Dejarnos en paz es una situación frágil. Podemos pensar en esto en términos similares a por qué es difícil conseguir que los humanos dejen en paz a los chimpancés.

¿Por qué ambas especies de chimpancés están en peligro de extinción, a pesar de que muchos humanos sí se preocupan por ellos y tratan activamente de protegerlos?

El problema no es que los humanos que aman a los chimpancés estén luchando contra humanos que los odian y que intentan exterminarlos por mera maldad.

El problema es que hay otras cosas que los humanos quieren.

Los seres humanos quieren todo tipo de cosas, incluyendo tierra y madera, y los chimpancés se ven atrapados en el fuego cruzado. Hay suficientes seres humanos indiferentes a los chimpancés, o lo suficientemente indiferentes en relación con sus otras prioridades, como para que acabemos destruyendo su hábitat de forma incidental.

¿Por qué iríamos a destruir el hábitat de los chimpancés cuando tenemos mucho espacio para nosotros?

Pues porque no tenemos por qué elegir entre conservar el territorio que ya tenemos e invadir el territorio de los chimpancés. La humanidad puede hacer ambas cosas a la vez.

Lo mismo ocurre con las IA. Una IA no necesita elegir entre los recursos de la Tierra y los recursos de otros lugares; puede tener ambos, como comentamos en el libro. Desde la perspectiva de la IA, no sería tan caro dejarnos en paz, pero [tampoco sería gratis](#para-una-ia-poderosa-no-seria-conservar-a-los-humanos-un-gasto-insignificante, y la IA necesitaría tener una razón para dejarnos usar recursos que podría utilizar para sus propios fines.

Además, incluso si la IA pudiera quedar plenamente satisfecha, es probable que el resultado para los humanos siga siendo bastante sombrío. Hay múltiples razones para ello:

• El hecho de que la IA pueda quedar plenamente satisfecha no significa que sea fácil logarlo. Si queda satisfecha con un solo sistema solar o una sola galaxia, eso no significa que los humanos obtengamos todo lo demás.
  • La IA puede vernos como competidores por ese sistema solar o esa galaxia.
  • Aunque esté claro que no estamos interesados en competir con la IA, esta puede seguir viéndonos como una fuente de amenazas. Esto es especialmente cierto en la medida en que los humanos podrían construir una superinteligencia rival que sí compitiera con la primera IA por esos recursos.
  • Incluso si la IA no considera a los humanos como una competencia ni una amenaza, es probable que la humanidad muera de forma accidental, simplemente por estar en la zona cero. Es posible que, en este escenario, la IA solo quiera los recursos de unos pocos sistemas solares, pero todos sus esfuerzos comienzan en la Tierra. La forma más directa de adquirir esos sistemas solares será extraer los recursos de la Tierra, dejándola inhabitable. En este escenario, podría alcanzar todos sus objetivos sin acabar con la humanidad, pero si esta no le importa en absoluto, entonces no se molestará necesariamente en hacerlo.
• Es poco probable que el hecho de que una IA saciable quiera mantener a los humanos con vida sea una buena noticia para la humanidad, por las razones expuestas en «[¿No le pareceremos fascinantes o históricamente importantes a la IA?]{#no-le-pareceremos-fascinantes-o-historicamente-importantes-a-la-ia}» y «¿No se preocuparán las IA al menos un poco por los humanos?» (El panorama parece igualmente sombrío si una IA insaciable quiere mantener a la humanidad con vida).

Para más información sobre este tema, véanse los debates ampliados sobre satisficibilidad (en los recursos en línea de este capítulo, capítulo 5) y cómo hacer que las IA sean robustamente perezosas (en el recurso en línea del capítulo 3).