No sirve de mucho si no conseguimos que a ninguna de ellas se preocupe por las cosas buenas.

Hay muchas formas en que las IA pueden acabar preocupándose por fines peculiares y extraños que no son lo que nadie quería o pretendía, como se explica en el capítulo 4. No importa si la humanidad crea mil millones de IA, si a cada una de esas mil millones de IA le importan fines peculiares y ligeramente distintos. A la humanidad no le irá bien a menos que descubramos cómo crear al menos una IA que se preocupe, al menos en buena medida, por personas felices, saludables y libres que vivan vidas prósperas; no solo en el sentido de que nos aseguren que se preocupan por eso cuando están en sus primeras fases, sino en el sentido de que esa es realmente la respuesta más eficiente a las cuestiones que sus acciones (o las acciones de sus descendientes) estén de hecho respondiendo, como se explica en el capítulo 5.

Si supiéramos cómo hacer que una de cada diez IA fuera buena, tal vez podríamos conseguir una décima parte del universo creando una gran cantidad de IA diferentes y esperando que las buenas consiguieran un acuerdo en nuestro favor. Pero, como argumentamos en los capítulos 2 a 4, conseguir una IA que se preocupe por las personas de la manera adecuada es extremadamente improbable, en el paradigma moderno en el que nos limitamos a cultivar las IA. No es una probabilidad de una entre diez, sino una probabilidad de una entre «eso-simplemente-no-sucede-a-menos-que-sepas-lo-que-estás-haciendo-lo-suficientemente-bien-como-para-que-suceda-a-propósito». La humanidad no está ni remotamente cerca de ese nivel. Ni siquiera generando unos cuantos miles de millones de IA conseguiríamos una milmillonésima parte de los recursos del universo, si no somos capaces de hacer que ninguna de ellas se preocupe en lo más mínimo por nosotros.