Questo, molto probabilmente, sarebbe catastrofico.

Le nostre previsioni riguardano i risultati finali, non il percorso. Non sappiamo cosa succederà con l'IA da qui al momento in cui diventerà davvero pericolosa.

Per quanto ne sappiamo, potrebbe succedere tra sei mesi, se si scoprisse che IA poco intelligenti che pensano per molto tempo sono abbastanza brave a fare le proprie ricerche sull'IA (innescando così un ciclo di retroazione critico). E per quanto ne sappiamo, il settore potrebbe rimanere fermo per sei anni in attesa di qualche intuizione critica che poi impiegherà altri sei anni per maturare. In quest'ultimo caso, potrebbe esserci un periodo di dodici anni in cui l'IA influirà in modo sorprendente sull'istruzione e sul lavoro.

(Sì, per chi sta storcendo il naso alla frase precedente, siamo consapevoli che la fallacia della quantità di lavoro è una fallacia. Il punto è che le nostre ipotesi su come l'IA influenzerà effettivamente il lavoro nel breve termine non sono particolarmente rilevanti, dato quello che succederà dopo).

Nelle risorse online del capitolo 6, abbiamo discusso di come l'umanità probabilmente non riuscirà a tenere il passo con lo sviluppo dell'IA, anche se ci affanniamo a potenziare l'intelligenza umana. (Ciononostante, nel capitolo 13 sosteniamo l'idea di potenziare l'intelligenza umana, ma non pensiamo che ciò possa realisticamente consentire agli esseri umani di tenere il passo con le IA se la ricerca sull'IA non viene anche interrotta).

Quindi, anche se quel futuro potrebbe diventare interessante e strano, sarebbe un futuro in cui sempre più potere va alle IA. Una volta che un qualsiasi insieme di queste IA si trova in una posizione in cui potrebbe prendere le risorse del pianeta per sé, quello è il punto di non ritorno: o quell'insieme di IA contiene una componente che si preoccupa di persone felici, sane e libere, o il futuro andrà male per noi.