Non se capiscono la minaccia.

Stiamo parlando di una tecnologia che ucciderebbe tutte le persone del pianeta. Se un Paese capisse davvero il problema — e quanto lontano sia qualsiasi gruppo sul pianeta dal far sì che l'IA segua le intenzioni di chi la controlla anche dopo essere diventata una superintelligenza — allora non avrebbe alcun incentivo a partecipare alla corsa. Anche loro vorrebbero disperatamente firmare un trattato e aiutare a farlo rispettare, temendo per la loro stessa vita.

Persino nazioni come la Corea del Nord, che hanno violato il diritto internazionale per sviluppare le proprie armi nucleari, non hanno usato quelle armi contro i propri nemici, perché capiscono che non ci sono vincitori in un olocausto nucleare. Le nazioni e i loro leader a volte si ricorrono a politiche sull'orlo del baratro o a guerre, ma non perseguono attivamente la loro stessa distruzione.

Chi pensa che qualche nazione straniera possa ritirarsi dal trattato, secondo noi, immagina una nazione i cui leader semplicemente non capiscono la minaccia. Pensiamo che immaginino uno scenario in cui l'intelligenza artificiale ha il 95% di probabilità di conferire grande ricchezza e potere al suo creatore e il 5% di probabilità di uccidere tutti. In tal caso, certo, qualche Stato potrebbe essere abbastanza avventato da provarci. E forse qualche Stato crederà che le probabilità siano proprio quelle.

Pensiamo che questa situazione non sia quella che la teoria e le prove suggeriscono. Come abbiamo ampiamente discusso nel libro, la teoria e le prove suggeriscono tutte che questa tecnologia sarebbe semplicemente un suicidio globale. Nessuno è neanche lontanamente in grado di sfruttare la superintelligenza delle macchine per ottenere benefici. Se la maggior parte del mondo lo capisse, ci sarebbero molte meno ragioni per le nazioni fuori controllo di violare un trattato. Neanche loro vogliono morire.

E anche se qualche ipotetica nazione fuori controllo avesse un leader che davvero non capisce la minaccia rappresentata dalla superintelligenza artificiale, se quella nazione fosse circondata da un'alleanza internazionale di potenze mondiali che invece comprendono la minaccia, le potenze interessate potrebbero intervenire e cambiare il panorama degli incentivi per la potenza fuori controllo.

Se (per esempio) i leader di Stati Uniti, Cina, Russia, Germania, Giappone e Regno Unito credessero davvero che la loro stessa sopravvivenza dipende dal fatto che nessuno costruisca una superintelligenza, e comunicassero in modo chiaro e inequivocabile che considererebbero qualsiasi tentativo di costruire una superintelligenza come una minaccia alla loro vita e al loro sostentamento, e che sarebbero pronti a reagire per difendersi, allora... beh, anche un leader mondiale che non è d'accordo probabilmente non vorrebbe sfidare quella coalizione.

Lo sviluppo dell'IA non è una corsa alla supremazia militare; è una corsa al suicidio. Pensiamo che se i leader mondiali lo capissero — se si aspettano di morire loro stessi, e i loro figli, a causa di ciò — allora si atterrebbero sinceramente a un trattato e contribuirebbero sinceramente a farlo rispettare.

In realtà non è poi così difficile capire che creare macchine più intelligenti di tutta l'umanità messa insieme potrebbe portare il mondo sull'orlo del baratro. Non è poi così difficile capire quanto poco l'umanità capisca delle macchine intelligenti che stiamo costruendo, se ci si ferma un attimo a riflettere seriamente sulla questione. Pensiamo che la questione sia se i leader mondiali arriveranno a credere a questi fatti. Ma se lo faranno, non pensiamo che sia davvero irrealistico fermare questa corsa suicida.

Un trattato richiederebbe un vero monitoraggio e una vera applicazione.

Anche se la maggior parte delle nazioni capisse che se qualcuno la costruisce, tutti muoiono, alcune nazioni potrebbero non capirlo e potrebbero essere così spericolate da procedere comunque con la costruzione della superintelligenza artificiale.

Il monitoraggio è necessario. L'applicazione delle norme è necessaria. I trattati sulle armi nucleari, biologiche e chimiche forniscono alcuni precedenti sui modi per verificare la conformità. Possiamo e dobbiamo rendere difficili e costosi i tentativi di eludere tali trattati.

Un divieto internazionale sull'IA di frontiera dovrà essere applicato in modo rigoroso. Se uno Stato-nazione è determinato a procedere nonostante la pressione internazionale, potrebbe essere necessario l'uso della forza militare da parte delle nazioni firmatarie.

Non è l'ideale! Si dovrebbe fare ogni sforzo per chiarire che verrebbe usata la forza in tali situazioni, così da evitare errori di calcolo in cui la forza debba essere usata davvero. Ma se esiste una causa che possa giustificare un'azione militare limitata (o persino una guerra, se una nazione non conforme sceglie di intensificare il conflitto), salvare il genere umano dovrebbe qualificarsi come valida.

Questo metodo ha funzionato in passato.

Sono passati più di ottant'anni dallo sviluppo della bomba atomica e l'umanità ha fatto un ottimo lavoro nel gestire la proliferazione nucleare. Non c'è stata nessuna guerra nucleare su larga scala, contrariamente a quanto molti esperti avevano previsto all'indomani della seconda guerra mondiale.

Nel giugno del 2025, il governo degli Stati Uniti ha persino effettuato un attacco limitato contro l'Iran nel tentativo di compromettere la sua capacità di creare armi nucleari. Questo tipo di trattato e regime di applicazione ha dei precedenti nell'ordine mondiale.

Se potessimo guadagnare ottant'anni prima dello sviluppo della superintelligenza artificiale, potrebbe essere sufficiente.