Possiamo sperarlo.

Il tempo in più è importante, ma solo se l'umanità lo usa per cambiare rotta.

Nella Parte III, discutiamo di come l'umanità sia tristemente impreparata alla superintelligenza e di come siano necessari grandi cambiamenti per prevenire il pessimo risultato descritto nella storia di Sable.

Ci sono vari modi in cui il mondo potrebbe diventare un po' più sicuro nei confronti di superintelligenze artificiali fuori controllo. I governi di tutto il mondo potrebbero richiedere che tutti i laboratori di sintesi del DNA verifichino di non stare sintetizzando nulla di riconosciuto come pericoloso. L'umanità potrebbe intraprendere un grande sforzo per migliorare radicalmente la sicurezza informatica di Internet, in modi che renderebbero più difficile per le IA nascondere codice in qualche angolo oscuro della rete.

Ma anche questo probabilmente servirebbe a poco contro una superintelligenza ostile. E in ogni caso, non bisogna confondere l’enorme sforzo necessario per conquistare un minimo di sicurezza in più con gli sforzi molto più piccoli, più facili da realizzare, e inefficaci, che l'umanità sta effettivamente portando avanti oggi in questa direzione.

Nel caso della sintesi del DNA: anche se le autorità di regolamentazione statunitensi richiedessero che i laboratori di sintesi del DNA statunitensi evitassero di sintetizzare materiale pericoloso, un laboratorio in qualsiasi altra parte del mondo sintetizzerebbe DNA sospetto per un prezzo sufficientemente alto? E le restrizioni sulla sintesi del DNA sarebbero una semplice lista nera che esclude virus noti (come il vaiolo), o implicherebbero qualche analisi più intelligente? Quanto sarebbe difficile, per un'IA sufficientemente intelligente, aggirare un sistema di analisi del genere?

Quanto alla sicurezza informatica: molte grandi aziende tecnologiche potrebbero usare l'IA per rafforzare le loro reti informatiche contro gli attacchi. Nel frattempo, la rete telefonica statunitense è facilmente hackerabile in modi che permettono alle spie straniere di ascoltare le chiamate dei funzionari statunitensi, e le autorità statunitensi faticano a chiudere questa falla. Delle IA stupide potrebbero trovare e correggere un sacco di problemi superficiali nella sicurezza informatica mondiale, ma i problemi sono piuttosto profondi. Il tipo di intelligenza necessaria per revisionare l'intero Internet al punto che una superintelligenza non riuscirebbe a trovare una falla sarebbe quasi sicuramente pericoloso di per sé.

E anche se la Terra potesse davvero bloccare Internet e i suoi laboratori di sintesi del DNA, questo non cambierebbe effettivamente la storia nel lungo periodo. Una superintelligenza che ha un qualsiasi canale per influenzare il mondo nel bene ha anche un canale per influenzarlo nel male. Una superintelligenza fuori controllo troverebbe semplicemente qualche altro canale che non è stato bloccato, ad esempio fondando una sua setta o religione, oppure acquistando robot e guidandoli nella costruzione di un suo laboratorio segreto in cui realizzare tutta la sintesi del DNA di cui ha bisogno. Il momento giusto per fermare una superintelligenza ribelle è prima che venga creata.