Sì.

Alcune caratteristiche uniche della sfida dell'allineamento dell'IA la renderanno più facile rispetto, ad esempio, alla progettazione di una centrale nucleare. Altre caratteristiche lo renderanno più difficile. Nel complesso, le armi nucleari e le centrali nucleari sembrano molto più semplici da gestire rispetto a un'IA più intelligente dell'uomo.

Le persone del settore si affrettano a sottolineare che si può chiedere all'IA stessa di aiutarci nella sfida dell'allineamento dell'IA. Non pensiamo che questo conti molto (in sostanza: perché qualsiasi IA abbastanza intelligente da capire come allineare una superintelligenza è già abbastanza pericolosa da dover essere allineata, ma si veda il Capitolo 11 per ulteriori discussioni).

Un altro modo in cui l'allineamento dell'IA potrebbe essere più facile rispetto alla progettazione di centrali nucleari è che gli esseri umani potrebbero avere un grado piuttosto elevato di controllo sul funzionamento delle IA che costruiscono. Non si può scegliere la fisica che governa un reattore nucleare, ma se gli esseri umani creassero le IA, allora potrebbero fare molte scelte sulle dinamiche cognitive dell'IA, se sapessero esattamente quello che stanno facendo. (Anche se, ovviamente, nessuno è neanche lontanamente vicino a quel livello di comprensione nella realtà, come discusso nel Capitolo 2.)

Per quanto riguarda i modi in cui l'IA è, probabilmente, una sfida più difficile rispetto ad altre sfide con cui l'umanità si è confrontata, confrontiamo la superintelligenza artificiale con le armi nucleari. Dopo tutto, la lettera aperta citata all'inizio di questo libro dice: "Mitigare il rischio di estinzione causato dall'IA dovrebbe essere una priorità globale insieme ad altri rischi su scala sociale come le pandemie e la guerra nucleare". Come si colloca l'IA rispetto a questi altri rischi su scala sociale?

Francamente, pensiamo che questo paragone banalizzi l'IA, per una serie di motivi:

1. Le armi nucleari non sono più intelligenti dell'umanità.
2. Le armi nucleari non si riproducono da sole.
3. Le armi nucleari non si auto-migliorano.
4. La maggior parte degli scenari realistici di guerra nucleare non prevede la distruzione totale dell'umanità; molto probabilmente, tra le rovine rimarrebbero delle persone in grado di ricostruire.
5. Le aziende finanziate da venture capital non stanno aumentando le scorte globali di armi nucleari di dieci volte ogni anno.
6. La scienza delle armi nucleari è abbastanza ben compresa. Gli ingegneri possono calcolare approssimativamente la potenza di un'arma nucleare prima di costruirla e sanno esattamente quale concentrazione di materiale fissile è necessaria per innescare la reazione a catena che porta a una detonazione catastrofica.
7. Le armi nucleari non creano dei loro piani. Se un paese costruisce un'arma nucleare, allora la possiede. I suoi scienziati non devono preoccuparsi che l'arma nucleare diventi molto più intelligente di loro e decida che preferisce non essere posseduta.
8. Il mondo è generalmente d'accordo sul fatto che se le armi nucleari esplodono, uccidono le persone. La comunità dei fisici non è divisa in fazioni filosofiche con posizioni strane come "Se ogni individuo avesse la propria arma nucleare, non sarebbe in balia dei cattivi che possiedono armi nucleari" o "Non è un problema perché gli esseri umani si fonderanno con le armi nucleari" o "La guerra nucleare è inevitabile, quindi è infantile e sciocco cercare di impedirla".
9. Le armi nucleari sono difficili da replicare. Non c'è un grande sforzo tecnologico in corso per costruire una tecnologia affittabile che chiunque possa usare per fabbricare armi nucleari, e fabbricarne una in laboratorio non permette di dispiegare 100.000 copie di quell'arma nucleare una settimana dopo.
10. Le principali potenze mondiali considerano la guerra nucleare una possibilità reale e un risultato/eventualità inaccettabile. I leader mondiali la considerano sinceramente un male e si impegnano concretamente per evitarla; anche i più egoisti tra loro sanno che una guerra nucleare potrebbe uccidere loro e le loro famiglie e distruggere i luoghi e i beni a loro più cari. I cittadini e gli elettori non vogliono una guerra nucleare. L'umanità è unita contro la guerra nucleare come non lo è mai stata su nessun'altra questione.

Quindi sì, è difficile fare analogie con la difficoltà di affrontare l'IA. Essa porterà con sé una serie di sfide nuove. L'osservazione importante è che non sarà completamente priva di sfide. Se a questo aggiungiamo il fatto che (come discusso nel libro e nella sezione di discussione estesa qui sotto) l'umanità ha una sola possibilità, la situazione sembra piuttosto grave.

L'IA è diversa perché non abbiamo una seconda possibilità.

Una differenza fondamentale tra questo campo e gli altri è che quando i fondatori del campo commettono un errore, come è normale nel corso della scienza, tutti moriranno senza una seconda possibilità. Si tratta di un tipo di problema scientifico qualitativamente diverso da risolvere.

La storia dell'ingegno umano che supera ostacoli grandi e piccoli è la storia di persone che commettono errori e imparano da essi. Hanno rischiato e danneggiato solo se stessi, e tutta l'umanità ne ha beneficiato, quindi erano inequivocabilmente eroi. Eroi sciocchi, in alcuni casi, ma comunque eroi. Se ci fosse stato un modo per l'umanità di elevarsi senza calpestare e spezzare la schiena di eroi come questi, se avessimo potuto riscaldarci senza le loro pire funebri, non sappiamo quale avrebbe potuto essere quel modo.

La superintelligenza artificiale spezza questo ciclo. Anche se si studiasse a fondo un'IA ancora immatura, riuscendo a decifrarne completamente la mente, a sviluppare un'eccellente teoria sul suo funzionamento, a convalidarla su numerosi esempi e a usare poi quella teoria per prevedere come la mente dell’IA cambierà man mano che ascende alla superintelligenza e acquisisce (per la prima volta) la possibilità concreta di impadronirsi del mondo — anche in quel caso, fondamentalmente, si starebbe comunque utilizzando una teoria scientifica nuova e non collaudata per prevedere i risultati di un esperimento che non è ancora stato eseguito: cosa farà l’IA quando avrà davvero, effettivamente, la possibilità reale di sottrarre il potere agli esseri umani.

Le teorie scientifiche umane sono molto spesso sbagliate, al primissimo tentativo. Quanto meno precise sono le osservazioni precedenti, e quanto più si è ancora nell’alchimia piuttosto che nella scienza, tanto più è probabile che tutte le prime teorie siano errate.

Anche le teorie davvero buone possono rivelarsi sbagliate in casi estremi, come la teoria della gravitazione di Newton — che è supportata da molti successi predittivi radicali, inclusa la scoperta di pianeti completamente nuovi — ma che risulta essere sbagliata ad alte velocità e lunghe distanze, come dimostrato dalla teoria della gravitazione di Einstein. Se la prima teoria dell'umanità su come cambieranno le dinamiche mentali di un'IA dopo che ascende alla superintelligenza è leggermente sbagliata in quegi casi estremi, e un'IA costruita sulla base di quella teoria ascende alla superintelligenza e si ritrova con obiettivi diversi dalla "bontà" — allora siamo morti. Quella superintelligenza coglie la sua opportunità, spazza via l'umanità dalla faccia della terra, e costruisce un futuro vuoto e sterile. Nessuna seconda possibilità.

E questo se sentissimo di avere una teoria dell'intelligenza completamente sviluppata, supportata da montagne di prove sperimentali.

Una civiltà che vuole avere davvero buone possibilità di sopravvivere a questo tipo di sfida è il tipo di civiltà che è in grado di dire: "Fermi tutti, elaboriamo la teoria in situazioni di alta velocità e lunga distanza e verifichiamo le varie previsioni errate che la nostra teoria ha fatto in alcuni casi limite estremi". Lo dice anche di fronte a quantità enormi di prove, perché capisce che anche la teoria di Newton non era del tutto corretta, e perché capisce che non ci sono seconde possibilità.

La nostra civiltà non è a quel punto. Non ci è nemmeno lontanamente vicina. Stiamo producendo un mucchio di idee sciocche, e poi chiunque venga assegnato a quelle idee "si dimette per motivi personali", mentre il resto del mondo a malapena se ne accorge. Nessuno sta mettendo per iscritto ipotesi di sicurezza che permettano di accorgersi se vengono violate; nessuno sta redigendo un piano dettagliato su cosa intende fare, quali capacità siano necessarie e quali difficoltà preveda nel raggiungere ciascuna di esse.

Dei professionisti provenienti da una civiltà sana darebbero un'occhiata a ciò che sta facendo la Terra e si metterebbero a urlare.