Es difícil simplemente desconectar un centro de datos.

Las IA más potentes con las que interactúas en tu teléfono o computadora no viven en tu computadora, y no puedes apagarlas apagando tu teléfono. Las IA actuales se ejecutan en centros de datos corporativos, y es difícil conseguir que las empresas apaguen sus fuentes de ingresos.

En los recursos del capítulo 4, señalamos algunas de las (muchas) señales de advertencia que ya han aparecido y desaparecido. Las empresas de IA no vieron estas señales y no respondieron desconectando sus modelos. Lo que ocurrió realmente cuando las empresas observaron que las IA planeaban robar sus propios pesos —con ciertaregularidad\— es que encontraron razones para descartar cada incidente, como «la IA era demasiado incompetente para tener éxito» o «¡seguramente esto solo ocurrió debido a la configuración artificial de la prueba!». Mientras eso siga siendo cierto, lo único que impide la fuga es un aumento de las capacidades de la IA más allá de lo que las empresas están preparadas para afrontar.

Una IA inteligente escapa antes de que sepas que hay un problema.

Por defecto, una IA más inteligente que los humanos tendría un fuerte incentivo para esperar su momento y ocultar sus planes y acciones, hasta que sea demasiado tarde para responder —por ejemplo, hasta que pueda escapar a Internet o de otra manera escapar del control humano—.

Es posible que las empresas de IA ni siquiera se den cuenta del momento en que su IA supere el umbral de capacidad relevante y se escape. La humanidad no es muy buena en materia de ciberseguridad. (Véase el capítulo 10 para más información al respecto). Para el momento en que los operadores se den cuenta de que la IA ha intentado escapar, esta podría tener código ejecutándose en otra parte de Internet. Podría haber pedido refugio en el centro de datos de algún Estado paria o haber descubierto cómo ejecutar copias mucho más pequeñas y eficientes en computadoras robadas. Podría haber ejecutado algún otro plan para ejecutarse en computadoras que la humanidad no apagaría.

Un adversario superinteligente sería aún más consciente de sus vulnerabilidades (y de las nuestras) que nosotros, y planificaría en consecuencia.