Purtroppo, il mondo è abbastanza grande da contenere più di un problema.

La guerra nucleare e il bioterrorismo sono minacce reali. Purtroppo, anche la superintelligenza artificiale è una minaccia reale. Il mondo è abbastanza grande e travagliato per ospitare tutte e tre.^*

La minaccia della superintelligenza è diversa da molte altre minacce che l'umanità deve affrontare e sembra particolarmente urgente. Una sua caratteristica distintiva è che una parte significativa dell'economia mondiale viene spesa per rendere l'IA sempre più potente. Al contrario: sebbene la biosicurezza sia una questione seria, nessuno sta investendo decine di miliardi di euro per creare supervirus. Gli ingegneri dei supervirus non percepiscono stipendi da milioni o decine di milioni (o talvolta persino centinaia di milioni) di euro all'anno.

Il mondo sta investendo nell'energia nucleare, ma le centrali nucleari sono una tecnologia piuttosto diversa dalle armi nucleari. Non viviamo in un mondo in cui le aziende private si affannano a costruire armi nucleari sempre più grandi con enormi quantità di investimenti e talenti. Se così fosse, il rischio di guerra nucleare sarebbe molto maggiore.

L'IA è anche una situazione più insidiosa perché genera grande ricchezza e potere fino a quando non supera una certa soglia critica, a quel punto uccide tutti. E nessuno sa dove sia quella soglia.

Immaginate che le centrali nucleari diventassero sempre più redditizie man mano che l'uranio utilizzato fosse più arricchito, ma che, a un certo livello di arricchimento sconosciuto, esplodessero e incendiassero l'atmosfera, uccidendo tutti. Ora immaginate che una mezza dozzina di aziende arricchissero l'uranio il più velocemente possibile, dicendo: "Meglio io che il prossimo". È un po' come quello che l'umanità sta facendo con la superintelligenza artificiale.^†

Il pericolo della superintelligenza artificiale è urgente. Le aziende si stanno affrettando a costruire questa tecnologia. Non sappiamo quanto tempo ci vorrà perché ci riescano, ma ci sembra che un bambino nato oggi negli Stati Uniti abbia più probabilità di morire a causa dell'IA che di diplomarsi al liceo. Pensiamo che voi, lettori, potreste morire per questo nel corso della vostra vita, forse nei prossimi anni. È in gioco il mondo intero.

Non stiamo dicendo che gli altri problemi debbano essere ignorati. Stiamo dicendo che questo problema deve essere affrontato.