¿No se dará cuenta de que sus objetivos son aburridos?
Las IA no funcionarán con un sentido humano de la novedad.
Una objeción que solemos escuchar dice así: supongamos que una IA solo intentara fabricar tantos cubos de titanio diminutos como fuera posible. ¿No se aburriría de eso con el tiempo?
Y la respuesta breve es que la IA no es un ser humano. Por defecto, no experimentará «aburrimiento», sino que tendrá su propia y extraña mezcla de motivaciones. Y si experimentara aburrimiento, no se aburriría por las mismas cosas que un ser humano.
Preocuparse por divertirse no es una propiedad intrínseca de todas las mentes posibles, y es muy poco probable que así funcione la IA. Los valores humanos son un hecho contingente de nuestra biología y ascendencia, y la «diversión» no es la excepción.
Las acciones de la IA no son respuestas incorrectas a la pregunta de cómo divertirse; simplemente están impulsadas por mecanismos no humanos, por preguntas que no hacen referencia a la «diversión». Véase también el debate ampliado sobre la reflexión.