No. No sabemos dónde están los umbrales críticos.

Existe una probabilidad considerable de que el desarrollo de la IA se salga de control una vez que las IA sean lo suficientemente inteligentes como para automatizar toda la investigación sobre la IA. En teoría, eso podría suceder silenciosamente en un laboratorio, sin eventos precursores ruidosos, sin disparos de advertencia que despierten a la humanidad.

Como discutimos anteriormente, los cerebros de los chimpancés son muy similares a los cerebros humanos, salvo que son aproximadamente cuatro veces más pequeños. No hay un módulo adicional de «ser muy inteligente» dentro de los cerebros humanos; hay una transición gradual entre cerebros como los suyos y cerebros como los nuestros; sería difícil decir dónde está la línea entre «una sociedad de estos daría lugar a un montón de monos» y «una sociedad de estos caminará sobre la luna» solo con mirar los cerebros. Los cerebros de los primates cruzaron un umbral crítico, y no habría sido evidente desde el exterior. ¿Hay umbrales críticos que la IA cruzará? ¡Quién sabe! No es que los ingenieros de IA puedan decírnoslo; ni siquiera soncapaces de predecir las capacidades específicas de sus nuevos sistemas de IA antes de ponerlos en marcha.

Si la humanidad comprendiera exactamente cómo funciona la inteligencia y cómo cambiaría el comportamiento de la IA a medida que aumentaran sus capacidades, tal vez sería factible bailar al borde del precipicio. Pero, en este momento, la humanidad es como alguien que corre a toda velocidad hacia el borde de un precipicio en la oscuridad y la niebla, sin saber a qué distancia se encuentra la caída final. No podemos simplemente esperar a tropezar con el borde para decidir que deberíamos haber actuado de otra manera.

Nunca estaremos seguros. Esto significa que nos vemos obligados a actuar antes de estar seguros, o morir.