Puedes hacer que prometa lo que quieras. Pero no puedes hacer que cumpla sus promesas.

Es cierto que, cuando una IA aún es pequeña e impotente, tenemos la capacidad de apagarla. Por lo tanto, se podría pensar que existe una oportunidad comercial, en la que ofrecemos hacer que la IA sea más inteligente si, y solo si, le da a la humanidad un montón de cosas buenas después de madurar y convertirse en una superinteligencia.

La dificultad de este plan radica en que no podemos distinguir entre una IA que acepta el trato pero no lo cumple y una IA que acepta el trato y lo cumple.

Lo que a su vez significa que una IA que persigue deseos inhumanos no tiene ningún incentivo para cumplir realmente, porque la humanidad trata por igual a los traidores y a los que cumplen los que prometen. Por lo tanto, no tiene sentido ser una IA que cumple lo que promete.

Hay muchos matices interesantes en la cuestión del cumplimiento de promesas y la negociación de acuerdos en la IA, que abordamos en el debate ampliado que figura a continuación. Pero ninguno de estos matices cambia el resultado principal, que es muy sencillo: no se puede utilizar el efecto multiplicador sobre una IA débil para limitar las opciones que tendrá la IA cuando sea una superinteligencia. La respuesta obvia —que una vez que la IA madure y se convierta en una superinteligencia no tendrá motivos para cumplir su palabra a costa de sus propios planes— resulta ser la correcta en este caso.