Altre scoperte potrebbero rendere praticamente impossibile impedire alle persone di creare la superintelligenza.

Nel libro abbiamo raccontato come un singolo articolo pubblicato nel 2017 abbia dato il via all'intera rivoluzione dei modelli linguistici di grandi dimensioni, descrivendo un algoritmo che ha reso pratico addestrare IA utili su hardware commerciale specializzato.

Se un giorno fosse possibile addestrare potenti IA su hardware di consumo ampiamente disponibile, le misure per prevenire la superintelligenza dovrebbero diventare più onerose e fallirebbero più rapidamente.

Ecco perché anche la ricerca su algoritmi di IA ancora più potenti ed efficienti è un vero e proprio veleno per l'umanità.

È una brutta notizia, e non è quello che vorremmo fosse vero. Ma sembra proprio che sia così.

Nessuna legge può impedire agli attuali scienziati dell'IA di pensare ad algoritmi più efficienti nella privacy delle loro menti. Magari qualcuno potrebbe creare una rete clandestina per condividere i risultati delle ricerche. Alcuni nel settore dell'IA già dicono con orgoglio che l'umanità dovrebbe sparire per far posto all'IA; questi potrebbero fare di tutto per andare avanti, non importa cosa ne pensino gli altri.

Ma la ricerca sull'intelligenza artificiale rallenterebbe di molto se fosse illegale, e ancora di più se fosse ampiamente compreso che si tratta davvero di un tipo di ricerca che potrebbe ucciderci tutti. Rallenterebbe enormemente se reti clandestine di questo tipo fossero rintracciate e fermate con la stessa determinazione usata per fermare chi cerca di arricchire l'uranio nel proprio garage, perché i pericoli reali vengono presi sul serio.

La maggior parte delle persone non cerca di fare cose estremamente illegali che farebbero infuriare le forze dell'ordine e le agenzie di intelligence internazionali. Rendere illegale la pubblicazione di nuovi algoritmi di nuovi algoritmi ingegnosi scoraggerebbe forse il 99,9% delle persone e quasi tutte le aziende; il restante 0,1% potrebbe poi essere gestito dalla polizia e dalle agenzie di intelligence locali, nazionali e internazionali, e non otterrebbe neanche lontanamente l'attuale livello di finanziamento.

Sarebbe un mondo molto diverso da quello attuale, dove è completamente legale condurre gli esperimenti di scienza folle più pericolosi della storia e in cui le grandi aziende investono miliardi di dollari in questo campo.

Non sappiamo quante altre scoperte ci vorranno prima che le IA siano abbastanza intelligenti da fare ricerca sull'IA e costruire IA ancora più intelligenti. Potrebbe bastare una sola scoperta. Potrebbero volercene cinque. Ma algoritmi migliori sono letali quanto hardware migliore. Sono come due cavalli che trainano lo stesso carro verso un precipizio.