No. Sarà necessaria un'altra via d'uscita.

I progressi nella ricerca sull'IA probabilmente non possono essere fermati completamente. Con abbastanza tempo, i ricercatori probabilmente finirebbero per scoprire metodi molto più efficienti per creare IA.^* O forse, con abbastanza tempo, qualche attore disonesto potrebbe finire per riuscire a sovvertire il divieto.

Il tempo trascinerà probabilmente l'umanità verso il futuro in un modo o nell'altro. E l'umanità o si estinguerà, come la maggior parte delle specie prima di lei, o riuscirà in qualche modo a navigare la transizione verso un mondo in cui esistono cose più intelligenti.

Ma l'umanità non ha bisogno di guadagnare tempo per sempre. L'IA non è l'unica tecnologia che sta avanzando. Anche la biotecnologia sta iniziando a maturare e, se l'umanità riuscirà a impedire lo sviluppo di macchine superintelligenti per diversi decenni, dovrà fare i conti con sconvolgimenti come l'ingegneria genetica che porterà alla creazione di esseri umani significativamente più intelligenti.

La domanda è quanto tempo possiamo guadagnare e cosa possiamo fare con quel tempo.

Il problema fondamentale che l'umanità deve affrontare è quello di attraversare in modo sicuro il divario fra l'intelligenza umana e la superintelligenza. Il miglior piano che ci viene in mente e che forse ha qualche possibilità di funzionare nella realtà è quello di guadagnare tempo affinché la biotecnologia aumenti considerevolmente l'intelligenza umana — fino al punto in cui i ricercatori del futuro diventino così intelligenti da non stimare mai la conclusione puntuale e in budget di un progetto ingegneristico a meno che ciò non sia realmente possibile.

Così intelligenti da non aderire mai a una teoria scientifica come l'aristotelismo o l'eliocentrismo, anche se la società che li circonda ne fosse completamente convinta. Così intelligenti da avere una possibilità di navigare il divario tra Prima e Dopo al primissimo tentativo.

Ci sono altri possibili percorsi che potremmo immaginare, ma questo ha il vantaggio di affrontare il collo di bottiglia fondamentale ("la comunità scientifica esistente dipende troppo dai metodi basati su tentativi ed errori e dall'incrementalismo per gestire questo particolare problema"), utilizzando tecnologie che stanno già iniziando a diventare disponibili oggi, senza introdurre un serio rischio per il mondo.

Un sistema di monitoraggio non dovrebbe durare per sempre.

È teoricamente possibile per l'umanità rimanere in equilibrio sul filo del rasoio della competenza, dove ci troviamo attualmente, per sempre. La nostra ipotesi è che questo richiederebbe un controllo draconiano dei pensieri e delle attività delle persone. Ma anche se non fosse così, lo considereremmo una scelta sbagliata.

Noi, personalmente, pensiamo che i discendenti dell'umanità meritino di diventare ciò che desiderano essere, esplorare le stelle e costruirvi una civiltà fiorente e bella. Sosteniamo il divieto allo sviluppo dell'IA di frontiera perché riteniamo che la superintelligenza sia abbastanza pericolosa da renderlo necessario, non perché odiamo l'IA, la tecnologia o il progresso scientifico.

La vera domanda è come arrivare a un futuro meraviglioso e come gestire la transizione da qui a lì.

Vale la pena sottolinearlo, anche perché ci sono molte persone che presentano l'IA come un falso dilemma: dicono (a torto) che la società deve o accettare i rischi dell'IA e andare avanti a tutta velocità, o rifiutare l'IA e lasciare che la nostra civiltà rimanga per sempre confinata su un solo pianeta. Questo è semplicemente falso. Ci sono altre strade verso il futuro, strade che permettono un futuro altrettanto brillante, ma senza un rischio così alto di perdere tutto per niente. L'umanità dovrebbe trovare un'altra strada verso il futuro.