Las IA pueden perseguir de forma inteligente cosas diferentes a las que perseguiría un humano.

No es que la IA sea estúpida. Es que está dirigiendo de forma inteligente el mundo hacia un lugar diferente al que tú lo dirigirías.

Alguien puede ser muy bueno conduciendo y, sin embargo, no querer llevar su coche a ninguno de los destinos que a ti te interesan.

Para profundizar un poco más en un ejemplo que hemos mencionado brevemente en las notas del capítulo 4: imagina una IA que intenta fabricar tantos pequeños cubos de titanio como pueda. Para simplificar, podemos imaginar que crear cubos de titanio es su único objetivo.^* Llamaremos a esta IA el «maximizador de cubos».

Conocemos a mucha gente que no puede sacudirse la idea de que estamos acusando al maximizador de cubos de idiotez, de no comprender que si realmente puedes saber lo que es sentirse feliz no puedes evitar elegir eso. Que es una decisión objetivamente errónea, independientemente de hacia dónde estés dirigiendo el universo, no dirigirte hacia la felicidad.

Creemos que entendemos de dónde viene esta intuición. El maximizador de cubos está tomando acciones que serían profundamente erróneas desde el punto de vista humano. Un ser humano dedicado a una tarea tan inútil probablemente podría, tras una reflexión más profunda y un razonamiento filosófico, convencerse de que debería hacer algo más significativo, que le brindara más felicidad y le provocara más alegría.

Es solo que el maximizador de cubos no es humano. No busca la sensación de «significado» y no le importa la felicidad ni la alegría. Realmente no le importa, en lo más mínimo.

Esta idea les parece contraintuitiva a algunas personas. Si aprendieras todo lo que hay que saber sobre cómo funcionan las diferentes arquitecturas mentales y descubrieras los orígenes de tu propia intuición, los pasos que da tu cerebro cuando llega a la conclusión de que el maximizador de cubos está cometiendo un terrible error…

Creemos que si pudieras ver el panorama completo, te darías cuenta de que incluso el sentido más profundo, misterioso, inefable y difícil de describir de que la felicidad es simplemente valiosa, por sí misma, sin necesidad de más justificaciones, sigue siendo, al fin y al cabo, un hecho sobre cómo los seres humanos ven el mundo, no un hecho sobre mentes arbitrarias.

El maximizador de cubos solo está dirigiendo la realidad para que contenga más cubos —no más bondad, no más felicidad para sí mismo, no la «realización» de un objetivo variable y manipulable que podría cambiar para que fuera más fácil de alcanzar—. Solo cubos, y nada más que cubos.

Es un motor cognitivo que determina qué acciones conducen a la mayor cantidad de cubos y ejecuta ese curso de acción; puede comprenderse a sí mismo por completo, modificarse libremente y seguir siendo un tipo de cosa que solo se modifica a sí misma de una manera que conduce a la mayor cantidad de cubos.

Es correcto que la sensación de felicidad no sea un cubo. Es correcto que la sensación de plenitud no sea un cubo. Por lo tanto, esas no son direcciones hacia las que se dirigiría. Es correcto que modificarse a sí mismo para funcionar con base en la felicidad no generaría más cubos, por lo que no es hacia allí hacia donde se dirigiría y se modificaría.

El maximizador de cubos no tiene ningún defecto en su comprensión predictiva del mundo. No está planteando ninguna pregunta metamoral o metaética cuya respuesta correcta sea «debería perseguir la felicidad» y calculando la respuesta incorrecta «debería crear cubos pequeños» en su lugar. No opera dentro del marco humano, ni siquiera dentro de una versión idealizada del marco humano; no calcula erróneamente lo que «debería» hacer, sino que calcula correctamente lo que se espera que conduzca a los cubos de titanio.

Al decir esto, no estamos diciendo que esté atrapado en una trampa horrible y complicada. Es un motor de inteligencia general reflexivamente coherente y (en cierto modo) menos enredado en sí mismo que nosotros. No está cegado para ver el atractivo de la felicidad; no aparta la mirada de ninguna verdad sobre el mundo o sobre sí mismo. Simplemente no encuentra ninguna de esas verdades que lo obliguen a seguir el mismo curso de acción que (algunos) humanos se ven obligados a seguir.

Véase también el debate ampliado sobre la tesis de la ortogonalidad.