Construir IA que puedan hacer cosas suficientemente impresionantes tenderá a causar que las IA deseen cosas.

Cuando decimos que una IA «desea» algo, no nos referimos a que la IA vaya a tener necesariamente deseos o sentimientos al estilo humano. Tal vez los tenga, o tal vez no. Lo que queremos decir es que la IA se comportará como si deseara cosas. Dirigirá confiablemente el mundo hacia ciertos tipos de resultados —anticipando obstáculos, adaptándose a circunstancias cambiantes y manteniéndose enfocada, orientada y motivada—.

En el capítulo 3 de Si alguien la crea, todos moriremos, cubrimos temas que incluyen:

• ¿Cómo podría una máquina adquirir la capacidad de «desear» cosas, en el sentido relevante?
• ¿Existe alguna evidencia de que las IA puedan desear cosas?
• ¿Deben las IA más avanzadas desear cosas?

Las preguntas frecuentes que figuran a continuación explican por qué parece difícil crear IA muy potentes y generales que no tengan sus propios objetivos. En el debate ampliado, desarrollamos la idea de que es mucho más fácil y natural especificar la búsqueda intensa de un objetivo que cualidades como la deferencia o la pereza.