La dificultad no es solo la falta de tiempo, sino la letalidad de los errores.

Para el año 500 d. C., la comunidad mundial creía en la teoría de que el Sol giraba alrededor de la Tierra. La teoría rival de Copérnico fue considerada y ampliamente rechazada. No fue hasta que Galileo construyó un telescopio y vio las lunas de Júpiter —cuerpos celestes que giran alrededor de Júpiter en lugar de la Tierra— que la incipiente comunidad científica se vio impulsada a la conclusión de que la Tierra gira alrededor del Sol.

Con el tiempo, la humanidad llegó a la teoría correcta de la mecánica orbital. Pero antes, había alcanzado un falso consenso, y se aferró a él vorazmente hasta que la realidad le hizo ver a Galileo por las malas que la Tierra no era el centro de todo.

El proceso habitual por el que la comunidad científica converge en la verdad implica pasos en los que se equivoca, y la realidad la golpea de lleno con la evidencia hasta que actualiza sus modelos.

El problema con la alineación de la SIA no es solo que sea un programa de investigación complicado. También es que, en este campo, la forma en que la realidad le demostraría a la humanidad de manera contundente que su primera teoría favorita era errónea, sería que una SIA hostil consumiera el planeta. No habría supervivientes para converger en una mejor teoría de la alineación de la SIA.

Si la humanidad tuviera cien años y reintentos ilimitados, probablemente no nos resultaría muy difícil resolver el problema de la alineación de la superinteligencia artificial.

Pero incluso si tuviéramos trescientos años para desarrollar una teoría sobre la inteligencia, sobre cómo cambian las IA a medida que se vuelven más inteligentes y sobre cómo orientarlas de una manera estable en última instancia… bueno, a falta de la capacidad de probar y ver realmente lo que sucede cuando la IA se vuelve radicalmente más inteligente varias veces, lo más probable es que convergiéramos en la respuesta incorrecta antes de que llegara esa evidencia vital. La humanidad tiende a converger en ese tipo de respuesta incorrecta.