Esto muy probablemente sería catastrófico.

Nuestras predicciones se refieren a resultados finales, no a trayectorias. No sabemos qué sucederá con la IA entre ahora y el momento en que se vuelva realmente peligrosa.

Por lo que sabemos, podría suceder en seis meses, si resulta que IA no sofisticadas que piensan durante mucho tiempo son bastante buenas para hacer su propia investigación sobre IA (de una manera que inicia un bucle de realimentación crítico). Asimismo, el campo podría estancarse durante seis años mientras se espera alguna idea fundamental que luego tarde otros seis años en madurar. En este último caso, podría haber un período de doce años en el que la IA afecte drásticamente la educación y el trabajo de formas sorprendentes.

(Sí, para quienes frunzan el ceño ante la frase anterior, somos conscientes de que la falacia del volumen de trabajo fijo es una falacia. La cuestión es que nuestras conjeturas sobre cómo afectará realmente la IA el trabajo a corto plazo no son muy relevantes, dado lo que viene después).

En los recursos en línea del capítulo 6, discutimos cómo es poco probable que la humanidad pueda seguir el ritmo del desarrollo de la IA, incluso si nos afanamos por aumentar la inteligencia humana. (No obstante, en el capítulo 13 abogamos por aumentar la inteligencia humana, pero no creemos que sea factible que los humanos puedan seguir el ritmo de las IA si no se detiene también la investigación en IA).

Por lo tanto, aunque ese futuro podría volverse interesante y extraño, sería un futuro en el que cada vez más poder pasaría a manos de las IA. Una vez que un grupo de esas IA llegue a una posición en la que pueda apoderarse de los recursos del planeta, ese será el punto de no retorno: o ese grupo de IA contiene un componente que se preocupa por la felicidad, la salud y la libertad de las personas, o el futuro pintará mal para la humanidad.