Molte tecnologie sono vietate o fortemente regolamentate.

La fissione nucleare è il classico esempio di tecnologia regolamentata. Le aziende private non possono arricchire l'uranio senza il controllo del governo, per quanto utile possa essere l'energia a basso costo.

In realtà, l'umanità è piuttosto brava a regolamentare e rallentare ogni tipo di tecnologia. Gli Stati Uniti regolano rigorosamente i nuovi farmaci e dispositivi medici, l'edilizia abitativa, la produzione di energia nucleare, i programmi televisivi e radiofonici, le pratiche contabili, l'assistenza all'infanzia, la disinfestazione, l'agricoltura e un sacco di altri settori. Ogni singolo stato richiede un esame di abilitazione per parrucchieri e praticanti di manicure. La maggior parte di essi richiede un esame anche per i massaggiatori.

Noi pensiamo che, in molti casi, l'umanità regolamenti troppo la tecnologia. Ad esempio, ci sembra che la Food and Drug Administration statunitense stia uccidendo molte più persone (rallentando o impedendo la creazione di farmaci salvavita, tramite requisiti pesanti) di quante ne stia salvando (impedendo il rilascio di farmaci pericolosi). Ci sembra che il prezzo delle case sia troppo alto, in parte a causa delle restrizioni legali sulla zonizzazione che limitano cosa si può costruire e dove. Ci sembra che gli Stati Uniti abbiano praticamente distrutto la propria industria nucleare con regole troppo rigide. E seriamente, i parrucchieri?

L'umanità ha assolutamente la capacità di ostacolare il progresso tecnologico. Sarebbe davvero tragico e assurdo se usassimo questa capacità nella medicina, nell'edilizia e nell'energia, e trascurassimo di usarla su una delle rare tecnologie che, se realizzata, ci ucciderebbe tutti.

Un divieto può essere mirato in modo specifico.

Un divieto su ricerca e sviluppo dell'intelligenza artificiale avanzata non deve necessariamente influenzare la gente comune. Non deve nemmeno eliminare i chatbot moderni o chiudere l'industria delle auto a guida autonoma.

La maggior parte delle persone non compra decine di GPU per IA di fascia alta per metterle nel proprio garage. La maggior parte delle persone non gestisce enormi data center. La maggior parte delle persone non sentirebbe nemmeno gli effetti di un divieto sulla ricerca e lo sviluppo dell'IA. Semplicemente, ChatGPT non cambierebbe così spesso.

L'umanità non avrebbe nemmeno bisogno di smettere di usare tutti gli attuali strumenti di IA. ChatGPT non dovrebbe scomparire; potremmo continuare a capire come integrarlo nella nostra vita e nella nostra economia. Sarebbe comunque un cambiamento più grande di quello che il mondo ha visto per generazioni. Ci perderemmo i nuovi sviluppi dell'IA (del tipo che arriverebbero quando l'IA diventa più intelligente ma non ancora abbastanza intelligente da uccidere tutti), ma la società non chiede a gran voce questi sviluppi.

E potremmo sopravvivere. Potremmo vedere i nostri figli crescere.

Gli sviluppi che la gente chiede a gran voce, come lo sviluppo di nuove tecnologie mediche salvavita, sembrano possibili da perseguire senza perseguire anche la superintelligenza. Siamo a favore di deroghe per l'IA medica, purché funzionino con un'adeguata supervisione ed evitino la generalità pericolosa.

I governi che lavorano per evitare la creazione di una superintelligenza fuori controllo dovrebbero assicurarsi che i chip per IA non vengano usati per sviluppare IA più potenti. Pertanto, la questione di quali attività e servizi di IA sarebbero autorizzati a continuare dipenderebbe da quali meccanismi di verifica potrebbero essere utilizzati per assicurarsi che non avvenga lo sviluppo di IA pericolose. Meccanismi di verifica migliori potrebbero ridurre il costo dell'arresto dello sviluppo dell'IA permettendo a un insieme più ampio di attività di continuare.

Un altro passo che potrebbe, potenzialmente, essere marginalmente utile è installare interruttori di spegnimento nei chip per IA, e stabilire protocolli di monitoraggio e spegnimento di emergenza per qualsiasi grande data center in funzione.^* I reattori nucleari sono progettati in modo da poter essere spenti rapidamente in caso di emergenza. Se si è d'accordo che la superintelligenza pone una minaccia a livello di estinzione, allora sembra ovvio che i chip per IA e i data center dovrebbero essere progettati per rendere facile ai regolatori spegnerli rapidamente.

Il punto non è bruciare tutta la tecnologia perché odiamo la tecnologia.^† Il punto è evitare di proseguire lungo la strada che finisce con l'estinzione umana.

Una parte significativa del problema è che le persone non capiscono la minaccia incombente della superintelligenza artificiale.

Secondo la nostra esperienza, le persone che sostengono che l'umanità non può fermare la corsa alla superintelligenza semplicemente non riescono a capire il punto che, se qualcuno la costruisce, tutti muoiono.

"Ma l'IA offre grandi benefici!" — no, in realtà, no; non si può sfruttare alcun potere della superintelligenza se questa semplicemente uccide tutti. Se l'umanità vuole cogliere i benefici offerti dalla superintelligenza, allora l'umanità deve trovare un modo per navigare la transizione alla superintelligenza che non uccida tutti come effetto collaterale.

"Ma le centrali nucleari fanno paura perché sono associate alle bombe atomiche che hanno raso al suolo intere città, mentre l'IA è associata a strumenti innocui come ChatGPT!" - È vero, almeno per ora. Se l'umanità non riuscisse mai a capire che la superintelligenza artificiale costruita con metodi anche solo vagamente simili a quelli moderni ucciderebbe tutti, allora potrebbe non riuscire a fermarla. Ma l'ostacolo non è che l'umanità non riesca mai a controllare o ostacolare le tecnologie emergenti (come le armi nucleari o l'energia nucleare); l'ostacolo è che le persone non capiscono la minaccia.

Da qui questo libro. Come discutiamo nell'ultimo capitolo, l'umanità è capace di molto quando abbastanza persone capiscono la natura del problema.