La difficoltà non è solo la mancanza di tempo; è la letalità degli errori.

Nel 500 d.C., la comunità globale era convinta che il Sole girasse intorno alla Terra. La teoria di Copernico, che diceva il contrario, era stata presa in considerazione ma in gran parte rifiutata. Fu solo quando Galileo costruì un telescopio e vide le lune di Giove, corpi celesti che girano intorno a Giove invece che alla Terra, che la comunità scientifica nascente arrivò alla conclusione che la Terra gira intorno al Sole.

L'umanità è arrivata alla teoria corretta della meccanica orbitale col tempo. Ma prima di allora, era giunta a un falso consenso. E si è aggrappata voracemente a quel falso consenso fino a quando la realtà non ha iniziato a mettere Galileo di fronte al fatto che la Terra non è al centro di tutto.

Il processo abituale attraverso cui la comunità scientifica converge sulla verità prevede fasi in cui la comunità scientifica sbaglia e la realtà ci mette di fronte alle prove finché non aggiorniamo i nostri modelli.

Il problema dell'allineamento della SIA non è solo che si tratta di un programma di ricerca complicato. È anche che, in questo campo, quando la realtà mette davvero l'umanità di fronte al fatto che la sua prima teoria preferita era sbagliata, questo significa che una SIA ostile consuma il pianeta. Non ci sarebbero sopravvissuti per convergere su una teoria migliore dell'allineamento della SIA.

Se l'umanità avesse cento anni e tentativi illimitati, probabilmente non avremmo molte difficoltà a risolvere il problema dell'allineamento della SIA.

Ma anche se avessimo trecento anni per sviluppare una teoria dell'intelligenza, e una come le IA cambiano man mano che diventano più intelligenti, e su come orientarle in modo che restino stabili nel lungo periodo... beh, senza la possibilità di provare e vedere cosa succede quando l'IA diventa radicalmente più intelligente un paio di volte, molto probabilmente convergeremmo sulla risposta sbagliata, prima che arrivino quelle prove fondamentali. L'umanità tende a convergere su quel tipo di risposta sbagliata.