Si las IA actuales son en su mayoría extrañas en casos extremos, ¿cuál es el problema?
Esa rareza es evidencia de que sus objetivos reales no son los objetivos que nosotros pretendemos.
Esto cobra mayor importancia a medida que la IA tiene más opciones. Una vez que una IA se vuelve superinteligente, prácticamente todas las opciones se vuelven extremas, ya que la IA obtiene acceso a un mundo de opciones diferentes que ningún ser humano ni IA ha tenido jamás. Al igual que casi todas las opciones alimenticias que tienes actualmente, en una civilización tecnológica, son «extremas» en comparación con las opciones que tenían tus antepasados.
Es posible que las IA actuales solo se encuentren ocasionalmente con situaciones radicalmente diferentes a su entorno de entrenamiento, pero una IA superinteligente se encontraría constantemente en situaciones radicalmente diferentes a su entorno de entrenamiento, simplemente por ser más inteligente y tener más opciones (y la capacidad tecnológica para inventar opciones radicalmente nuevas, como hicieron los humanos cuando inventaron el helado). Por lo tanto, no es nada tranquilizador que la IA se comporte mal solo en casos extremos.
Para expresarlo de forma más técnica: la mejor solución a cualquier problema dado tiende a darse en los extremos.*
Hablaremos más sobre estos puntos en los capítulos 5 y 6.
* Como señala Stuart Russell, coautor de Artificial Intelligence: A Modern Approach (Inteligencia artificial: un enfoque moderno): «Un sistema que optimiza una función de n variables, donde el objetivo depende de un subconjunto de tamaño k<n, a menudo establecerá las variables restantes sin restricciones en valores extremos; si una de esas variables sin restricciones es realmente algo que nos importa, la solución encontrada puede ser muy indeseable». El teorema fundamental de la programación lineal establece que esto es cierto cuando se optimiza una función lineal sobre una región poligonal convexa. Un resultado similar suele darse en la práctica en contextos más generales, ya que muchos problemas de optimización guardan similitud con la optimización de una función lineal sobre una región poligonal convexa.