Una domanda naturale che ci aspettiamo da molti lettori è:

Dite che se qualcuno costruisce la superintelligenza artificiale, tutti muoiono. Ma allora perché qualcuno sta cercando di costruirla? Se avete ragione, queste persone non stanno nemmeno facendo i propri interessi, in fin dei conti. Se tutti muoiono, muoiono anche loro.

Una risposta cinica, basata sulla teoria dei giochi, potrebbe essere questa:

Ebbene, è razionale dati i loro incentivi. Se non la costruiscono loro, presumono che lo farà qualcun altro. E tanto vale arricchirsi prima di morire.

Forse questa risposta è sufficiente, per un cinico.

Spiegazioni semplici basate sulla teoria dei giochi come questa spesso fraintendono o semplificano eccessivamente la vera psicologia umana, ma questa spiegazione potrebbe anche contenere un fondo di verità. Un ingegnere potrebbe pensare che probabilmente tutti moriranno a causa della superintelligenza artificiale, ma che le sue azioni non influenzino molto questa probabilità. Nel frattempo, può avere quantità folli di denaro, giocattoli tecnologici all'avanguardia e incontri con persone importanti che lo guardano con rispetto. Magari diventerà il divino imperatore della Terra se la superintelligenza artificiale non ucciderà tutti, ma solo se la sua azienda vincerà la corsa alla costruzione della superintelligenza artificiale...

Dal punto di vista di un ricercatore di OpenAI che riconosce il pericolo: se non lavora per OpenAI, probabilmente OpenAI distruggerà comunque il mondo. (Anche se OpenAI chiudesse, Google distruggerebbe comunque il mondo). Ma se lavora per OpenAI, porta a casa stipendi a sei o sette cifre e, se non muore, forse otterrà ulteriore potere e fama facendo parte della squadra vincente. Quindi, in base alla teoria dei giochi, gli incentivi personali di ciascuno li spingono a distruggere collettivamente il mondo.

La nostra opinione è che questo tipo di spiegazione sia un po' esagerata, e la menzioniamo principalmente perché c'è un tipo di persona che crede (molto più di noi) che il mondo debba funzionare secondo spiegazioni come questa. Sentiamo anche il bisogno di menzionarla perché alcune persone nei laboratori di IA diconoesplicitamente che una corsa al ribasso è inevitabile, quindi tanto vale gettare benzina sul fuoco e divertirsi.

Dopo aver precedentemente avvertito che l'IA "è molto più pericolosa delle armi nucleari", Elon Musk ha deciso di fondare un'azienda di IA e di entrare lui stesso nella corsa, affermando, nel giugno del 2025:

Parte di ciò contro cui ho lottato — e che mi ha un po' rallentato — è che non voglio rendere Terminator realtà. Fino agli anni più recenti, ho menato il can per l'aia sull'IA e sulla robotica umanoide.

Poi sono arrivato alla consapevolezza che queste cose stanno succedendo, che le faccia io o no. Quindi si può essere uno spettatore o un partecipante. Preferisco essere un partecipante.

E anche:

E questo sarà un bene o un male per l'umanità? Ehm, credo che sarà un bene? Probabilmente sarà un bene? Ma mi sono in qualche modo rassegnato al fatto che, anche se non fosse un bene, mi piacerebbe almeno essere vivo per vederlo accadere.

Quindi questo fa chiaramente parte della storia.

Ma non pensiamo che questo sia il fattore principale che spiega il comportamento della maggior parte dei laboratori. Non pensiamo che questo sia l'unico motivo nel caso di Musk, e non pensiamo che sia rappresentativo di tutti gli amministratori delegati o scienziati del settore tecnologico che stanno correndo verso il precipizio. Gli esseri umani sono un po' più complicati di così.

La banalità dell'autodistruzione

Qual è, quindi, la spiegazione principale? Come possono gli ingegneri perseguire una tecnologia pericolosa, anche a costo della propria vita?

Il fatto è che la storia ci mostra che non è affatto strano che scienziati pazzi si uccidano per sbaglio.

Max Valier era un pioniere austriaco della missilistica che inventò un'auto a razzo funzionante, un treno a razzo e un aereo a razzo, tutti prima del 1929, attirando l'attenzione del mondo. Scrisse di esplorare la Luna e Marte e tenne centinaia di presentazioni e dimostrazioni davanti a un pubblico entusiasta. Uno dei suoi motori a razzo sperimentali esplose nel 1930, uccidendolo. Il suo apprendista sviluppò misure di sicurezza più efficaci.

Ronald Fisher (https://it.wikipedia.org/wiki/Ronald_Fisher) era un famoso e importante statistico, uno dei fondatori della statistica moderna. Le sue scoperte furono usate per sostenere davanti al Congresso negli anni '60 che le prove non dimostravano necessariamente che le sigarette causassero il cancro ai polmoni, perché la correlazione non implicava la causalità; poteva sempre esserci qualche gene che faceva sì che alle persone piacesse il gusto del tabacco e che allo stesso tempo causasse il cancro ai polmoni.

Fisher sapeva che le sue statistiche erano in qualche modo errate? Forse. Ma Fisher era lui stesso un fumatore. Morì di cancro al colon, una malattia che colpisce i fumatori cronici con una frequenza del 39% superiore rispetto ai non fumatori. Fisher è stato ucciso dai suoi errori? Tutto ciò che sappiamo è che statisticamente c'è una probabilità ragionevole che sia così, il che sembra quasi appropriato.

Isaac Newton, il brillante scienziato che sviluppò le leggi del moto e della gravità e che pose molte delle prime fondamenta della scienza stessa, trascorse decenni della sua vita in infruttuose ricerche alchemiche e fu portato alla malattia e alla parziale follia dall'avvelenamento da mercurio.

E il povero Thomas Midgley, Jr., di cui si parla nella parabola del capitolo 12, si è certamente provocato un grave avvelenamento da piombo con lo stesso piombo che insisteva fosse sicuro. Come potete vedere, non è poi così raro che ingegneri entusiasti si facciano del male con le proprie invenzioni, per imprudenza o illusione o entrambe.

Scrollare le spalle davanti all'apocalisse

Fisher, Newton e Midgley si sono illusi che qualcosa di pericoloso fosse sicuro. È un modo abbastanza normale per gli scienziati di finire per fare qualcosa di autodistruttivo. Purtroppo, la storia dei laboratori di IA non è così semplice.

Non tutti gli amministratori delegati delle aziende di IA negano che un'IA più intelligente dell'uomo sia una minaccia. Molti riconoscono esplicitamente il pericolo e parlano di riconciliarsi con esso. I dirigenti aziendali di molti laboratori di IA di frontiera hanno dichiarato pubblicamente che la tecnologia che stanno sviluppando ha una possibilità sostanziale di uccidere ogni essere umano vivente.

Poco prima di co-fondare OpenAI, Sam Altman ha scritto: "Lo sviluppo di un'intelligenza artificiale superumana è probabilmente la più grande minaccia per la sopravvivenza dell'umanità."

Ilya Sutskever, che ha recentemente fondato "Safe Superintelligence Inc." dopo aver lasciato OpenAI, ha detto in un'intervista al Guardian:

Le convinzioni e i desideri delle prime IAG saranno estremamente importanti. Quindi è importante programmarle correttamente. Penso che se questo non viene fatto, allora la natura dell'evoluzione (della selezione naturale) favorisce quei sistemi che danno priorità alla propria sopravvivenza sopra ogni altra cosa. Non è che odieranno attivamente gli esseri umani e vorranno far loro del male. Ma saranno troppo potenti.

Shane Legg, cofondatore e scienziato di Google DeepMind, ha detto in un'intervista che la probabilità di estinzione umana da lui stimata "entro un anno da qualcosa come un'IA di livello umano" era "Forse il cinque per cento, forse il cinquanta per cento".

Le azioni dei laboratori, tuttavia, sembrano straordinariamente in contrasto con la gravità di queste dichiarazioni.

In alcuni casi, scienziati e amministratori delegati hanno dichiarato esplicitamente che creare l'intelligenza artificiale è un imperativo morale di grado così elevato che è perfettamente accettabile spazzare via l'umanità come effetto collaterale. Il cofondatore di Google Larry Page ha avuto un diverbio con Elon Musk sul fatto che l'estinzione umana fosse un costo accettabile per fare affari nel campo dell'IA:

Gli esseri umani alla fine si fonderanno con le macchine dotate di intelligenza artificiale, ha affermato [Larry Page]. Un giorno ci saranno molti tipi di intelligenza in competizione per le risorse e vincerà il migliore.

Se ciò accadesse, ha affermato Musk, saremmo condannati. Le macchine distruggerebbero l'umanità.

Con un tono di frustrazione, Page ha insistito che la sua utopia dovrebbe essere perseguita. Alla fine ha chiamato Musk uno "specista", una persona che favorisce gli esseri umani rispetto alle forme di vita digitali del futuro.

E Richard Sutton, un pioniere dell'apprendimento per rinforzo nell'IA, ha detto:

E se tutto fallisse? Le IA non collaborano con noi, prendono il sopravvento, ci uccidono tutti. […] Voglio solo che pensiate un attimo a questo. Cioè, è così grave? È così grave che gli esseri umani non siano la forma di vita intelligente finale nell'universo? Sapete, ci sono stati molti nostri predecessori, quando li abbiamo succeduti. Ed è davvero un po' arrogante pensare che la nostra forma debba essere quella che vivrà per sempre.^*

Ancora più comuni, tuttavia, sono gli scienziati e i dirigenti che non pensano che sarebbe una buona cosa se l'IA distruggesse l'umanità, ma che sembrano considerare con una scrollata di spalle — come qualcosa di diverso da un’emergenza straordinaria — il fatto che l’IA rappresenti una minaccia così eccezionale.

In una recente intervista, l'amministratore delegato di Anthropic Dario Amodei ha commentato:

La mia probabilità che qualcosa vada catastroficamente storto sulla scala della civiltà umana potrebbe essere tra il dieci e il venticinque per cento. […] Questo vuol dire che c'è una probabilità dal settantacinque al novanta per cento che questa tecnologia venga sviluppata e che tutto vada bene!

Questo ci sembra un caso estremo di insensibilità alla portata, con tutte le caratteristiche di una cultura ingegneristica disfunzionale. Possiamo paragonare questo modo di pensare, ad esempio, agli standard a cui si attengono gli ingegneri strutturali.

Gli ingegneri dei ponti, in genere, mirano a costruire ponti in modo tale che la probabilità di gravi cedimenti strutturali in un arco di tempo di cinquant'anni sia inferiore a 1 su 100.000. Gli ingegneri che operano in discipline tecniche mature e consolidate ritengono che sia loro responsabilità mantenere il rischio a un livello eccezionalmente basso.

Se la previsione della probabilità che un ponte causi la morte di una sola persona fosse tra il 10 e il 25 %, qualsiasi ingegnere strutturale sano di mente nel mondo considererebbe ciò inaccettabile, più simile a un omicidio che alla normale pratica ingegneristica. I governi chiuderebbero immediatamente il ponte al traffico.

I ricercatori di IA, invece, sono abituati a riunirsi intorno ai distributori d'acqua e a scambiarsi i numeri "p(catastrofe)" - la loro ipotesi soggettiva sulla probabilità che l'IA causi una catastrofe grave come l'estinzione umana. Queste probabilità tendono ad essere a due cifre. L'ex capo del team di allineamento della superintelligenza di OpenAI, ad esempio, ha affermato che la sua "p(catastrofe)" rientra nell'intervallo "più del dieci per cento e meno del novanta per cento".

Questi numeri sono in definitiva solo ipotesi dei ricercatori. Forse sono assurdi, forse no. Indipendentemente da ciò, è notevole quanto sia culturalmente normale, nel campo dell'IA, l'aspettativa che il proprio lavoro abbia una probabilità sostanziale di causare la morte di un numero enorme di persone.^†

L'idea di applicare probabilità del genere alla sopravvivenza dell'intera specie umana e di andare comunque avanti sarebbe davvero difficile da concepire per la maggior parte degli ingegneri civili. La situazione è così estrema che abbiamo incontrato molte persone che dubitano che questi scienziati e dirigenti possano essere seri nelle loro valutazioni dei rischi. Eppure, le argomentazioni di Prima che sia troppo tardi suggeriscono che i dirigenti delle aziende di IA stiano, semmai, sottovalutando il pericolo.^‡

I ricercatori di queste aziende sono abituati a livelli di rischio che sarebbero incredibilmente assurdi secondo gli standard di un ingegnere dei ponti. Altrimenti, è difficile capire come un amministratore delegato come Amodei possa sorridere mentre rassicura gli spettatori dicendo che ritiene che le probabilità che la ricerca sull'IA causi catastrofi al livello della civiltà siano "tra il dieci e il venticinque per cento".

Vivere nel mondo dei sogni

Una parte della storia, come discusso sopra, sembra essere una normalizzazione culturale del rischio estremo.

Un'altra parte è una miscela letale di bias di ottimismo e attaccamento a idee brillanti e piene di speranza — il tipo di errore che gli psicologi cognitivi chiamano "la fallacia della pianificazione".

Non è poi così sorprendente che l'amministratore delegato di una nuova audace startup sopravvaluti le proprie possibilità di successo. È proprio il tipo di persona che, per natura, è più incline a lanciarsi e provare ad affrontare un problema del genere.

La differenza con l'IA non è che ci siano persone particolarmente avventate al comando. È che le conseguenze di un fallimento sono molto più gravi del solito.

È risaputo che non ci si può fidare di un appaltatore quando dice che c'è solo il 20% di probabilità che il suo grande progetto di costruzione di un ponte subisca ritardi o costi extra. Non è così che funzionano i progetti complessi nella realtà. Ci saranno ostacoli e sorprese.

Forse un appaltatore esperto, con anni di esperienza e statistiche alle spalle, potrebbe dirvi che uno su cinque dei suoi progetti di ponti subisce qualche tipo di sforamento, e potreste fidarvi di questo dato. Ma immaginate invece che un appaltatore di ponti, nel tentativo di rassicurarvi, dica: "Non vediamo alcun motivo per cui questo progetto possa diventare difficile. È il nostro primissimo progetto, sì, ma pensiamo che andrà tutto bene. Tutti quegli ingegneri che vi mandano lettere serie sui nostri specifici problemi legati all'installazione dei muri di contenimento e allo scavo in questa particolare area, sono solo dei pessimisti cronici, e dovreste ignorarli. Certo, c'è sempre qualche possibilità di un problema; ma siamo costruttori di ponti realistici e umili alla prima esperienza. Pensiamo che ci sia forse un venti per cento di probabilità che questo progetto incontri ostacoli e sorprese, nella peggiore delle ipotesi".

In un caso come questo, numeri come "venti per cento" ci sembrano il tipo di cosa che qualcuno dice quando non può negare che ci sia qualche rischio, ma non vuole preoccupare la gente. Non sembrano stime fondate sulla realtà.

Allineare una superintelligenza al primo tentativo sembra molto più complicato che costruire un ponte, cosa che l'umanità ha fatto migliaia di volte in passato.

Anche in un campo maturo e tecnicamente consolidato come quello della costruzione di ponti, il tipo di discorsi che sentiamo provenire dai laboratori di IA sarebbe un brutto segno, e farebbe pensare che quelle stime del "20% di probabilità che le cose vadano male" siano in realtà troppo ottimistiche. In un campo privo di quelle basi, dove idee entusiasmanti possono proliferare liberamente senza mai scontrarsi con la dura realtà, un simile tipo di discorso è un chiaro segnale che nessuno è nemmeno lontanamente vicino al successo.

E questo tipo di discorso è assolutamente onnipresente, nell'ambito dell’IA, tra il sottogruppo di ricercatori e dirigenti che sono disposti persino ad affrontare la questione di cosa accadrebbe se i loro sforzi avessero successo.

I leader aziendali dell'IA non riescono a definire un piano di successo che sia anche solo minimamente dettagliato — un piano che affronti gli ostacoli tecnici chiave e le difficoltà note nel settore da oltre un decennio.

Invece, i dirigenti delle aziende tendono a lasciarsi affascinare da qualche idea di alto livello sul perché il problema, per loro, non sarà affatto un problema: una visione entusiasmante che ha lo scopo di banalizzare tutti i problemi ingegneristici, come le visioni di cui abbiamo parlato nel capitolo 11.

Anche questo è uno schema ricorrente tra gli ingegneri umani. L'ottimismo ingiustificato su una soluzione preferita (che in realtà non funzionerà) è qualcosa che si vede continuamente, anche tra persone che per il resto sono dei geni.

Linus Pauling, uno dei fondatori della biologia molecolare e premio Nobel in due campi diversi, sosteneva l'uso di megadosi di vitamina C come cura per tutto, dal cancro alle malattie cardiache; la sua insistenza su questo approccio nonostante le prove contrarie ha portato alla nascita di un'intera industria di medicine fasulle.

L'imprenditore elettrico Thomas Edison, che voleva screditare il cablaggio a corrente alternata del suo concorrente a favore dei suoi progetti a corrente continua, ha deciso che sarebbe stata una buona mossa di pubbliche relazioni pagare un ingegnere per fulminare dei cani. Questa mossa, incredibilmente, non lo rese popolare tra il pubblico, ma Edison continuò a farlo anche dopo un sacco di proteste.

Napoleone Bonaparte, considerato da molti un genio militare, ha causato la sua stessa rovina con una disastrosa invasione della Russia. Il suo errore non è stato la mancanza di preparazione, dato che aveva studiato la geografia della regione e aveva dedicato quasi due anni alla logistica della campagna. La sua strategia prevedeva di costringere i russi a una battaglia decisiva prima che finissero le sue scorte, che duravano solo trenta giorni. I russi non collaborarono, l'offensiva si bloccò e Napoleone perse mezzo milione di soldati, insieme alla maggior parte della sua cavalleria e artiglieria.

La storia è piena di persone intelligenti e potenti che hanno fatto cose irragionevoli fino al limite del disastro e anche oltre. Le idee che sembrano belle possono essere irresistibili quando sono difficili da testare o quando si è trovato un modo per convincersi che si possono ignorare i risultati dei test che si hanno davanti agli occhi.

Sentire la superintelligenza artificiale

Ricapitolando: spesso le persone cadono in un ottimismo vuoto su quanto sarà facile risolvere un problema; possono abituarsi a rischi terribili; e possono innamorarsi di idee in apparrenza affascinanti ma che in realtà sono senza speranza, soprattutto quando lavorano in un campo giovane e immaturo.

Questo è più che sufficiente per spiegare la sconsiderata corsa in avanti. Ma, in base alla nostra esperienza, sospettiamo che ci sia dell'altro.

Un'altra parte della storia, plausibilmente, è che gli ingegneri e gli amministratori delegati non credono davvero a quello che dicono. Non in modo profondo. Potrebbero capire le argomentazioni ed esserne convinti in astratto, ma questo non è lo stesso che sentire la convinzione.

Ciò che una persona dice pubblicamente, ciò che si racconta in privato, e ciò che il suo cervello si aspetta davvero che accada, sono spesso cose scollegate. Questi tre livelli di convinzioni non devono necessariamente coincidere.

Nel 2015, quando alcuni dei grandi protagonisti dell'attuale disastro stavano appena muovendo i primi passi, sospettiamo che dirigenti di talento potessero attirare l'attenzione – e alcune decine di milioni di euro di finanziamenti – dicendo che l'IA era una minaccia per la sopravvivenza del mondo, rivolgendosi a finanziatori che forse credevano in modo più sincero che l'IA potesse davvero rappresentare una minaccia di quel tipo.^§

Ma, sospettiamo, molti di quelli che dicevano queste cose non avevano davvero assorbito o previsto un modello concreto e dettagliato di "fine del mondo". Probabilmente non riuscivano a immaginare visceralmente che loro stessi avrebbero potuto portare il mondo alla rovina spingendo le cose troppo avanti o facendo un errore. Non immaginavano il suono di ogni essere umano sul pianeta che esala il suo ultimo respiro. Non provavano i sentimenti che normalmente accompagnerebbero l'uccisione di due miliardi di bambini.

Una cosa del genere non era mai capitata a loro, né a nessuno che conoscessero.

Il mondo non aveva ancora visto ChatGPT, tantomeno una superintelligenza. Non era il tipo di cosa in cui credevano i loro amici, familiari e vicini; non era qualcosa in cui credevano nel modo in cui si crede nel guardare il traffico prima di attraversare la strada.

Era solo una storia dal suono grandioso, troppo enorme per essere davvero afferrata.

Eppure era anche il tipo di cosa che, se raccontata ad alta voce, poteva far guadagnare un sacco di soldi e rispetto.

Come osserva Yudkowsky (2006):

Oltre ai pregiudizi standard, ho osservato personalmente dei modi di pensare che sembrano dannosi e specifici dei rischi esistenziali. L'influenza spagnola del 1918 ha ucciso 25-50 milioni di persone. La seconda guerra mondiale ha ucciso 60 milioni di persone. 10^7^ è l'ordine di grandezza delle più grandi catastrofi nella storia scritta dell'umanità. Numeri molto più grandi, come 500 milioni di morti, e soprattutto scenari qualitativamente diversi come l'estinzione dell'intera specie umana, sembrano far scattare un modo di pensare diverso — si entra in un "magistero a parte". Persone che non si sognerebbero mai di fare del male a un bambino sentono parlare di un rischio esistenziale e dicono: "Beh, forse la specie umana non merita davvero di sopravvivere".

C'è un detto, nell'euristica e nei pregiudizi, secondo cui le persone non valutano gli eventi, ma piuttosto le descrizioni degli eventi: è quello che si chiama ragionamento non estensionale. L'estensione dell'estinzione dell'umanità include la morte di voi stessi, dei vostri amici, della vostra famiglia, dei vostri cari, della vostra città, del vostro Paese, dei vostri compagni politici. Eppure le persone che si offenderebbero molto se qualcuno proponesse di cancellare la Gran Bretagna dalla mappa, di uccidere tutti i membri del Partito Democratico negli Stati Uniti, di trasformare in vetro la città di Parigi, e che proverebbero un orrore ancora maggiore se il medico dicesse loro che il loro figlio ha il cancro, discutono dell'estinzione dell'umanità con perfetta calma.

Cosa potrebbe davvero pensare qualcuno quando dice — prima di fondare quella che sarebbe diventata la più importante azienda di IA al mondo — "L'IA probabilmente porterà alla fine del mondo, ma nel frattempo ci saranno grandi aziende"? Stanno davvero pensando alla morte dei loro amici, dei figli dei loro amici, alla loro stessa morte, a tutta la storia umana e a tutti i musei che si trasformano in polvere? Stanno pensando che tutto questo accadrà davvero, in modo banale e tragico come la morte di un parente per cancro, solo che questa volta riguarderà tutti?

Sospettiamo di no.

A noi sembra che questa non sia l'ipotesi più plausibile riguardo allo stato psicologico interno di chi pronuncia una frase del genere.

C'è quello che Bryan Caplan ha chiamato uno "stato d'animo mancante". Non c'è dolore. Non c'è orrore. Non c'è nessuna spinta disperata a fare qualcosa al riguardo, nell'affermazione che l'IA molto probabilmente porterà alla fine del mondo ma nel frattempo ci saranno grandi aziende.

Per almeno alcuni di questi amministratori delegati e ricercatori, la nostra ipotesi è più simile a questa: hanno sentito un sacco di argomentazioni sul fatto che la superintelligenza artificiale potrebbe rappresentare un pericolo, e temono di sembrare stupidi davanti ad almeno alcuni dei loro amici se lo ignorassero completamente. Se invece dicono che l'IA distruggerà il mondo, saranno visti come persone che considerano l'IA pericolosa e importante, e quindi sembreranno visionari in certi ambienti. Aggiungendo una battuta del tipo "Nel frattempo, ci saranno grandi aziende", riescono a trasmettere un messaggio su quanto siano trendy e tranquilli di fronte al pericolo.

Non è il tipo di cosa che si dice se si ascoltano le parole che escono dalla propria bocca e ci si crede davvero.

Che tipo di persona ci vuole?

Un'altra parte della storia, forse, è che le persone che gestiscono i principali laboratori di IA sono il tipo di persone che sono riuscite a convincersi che costruire una superintelligenza sarebbe accettabile, nonostante (in quasi tutti i casi) abbiano visto le argomentazioni secondo cui questo è letale. (Lo sappiamo perché in precedenza abbiamo parlato con molti di loro).

Per capire perché qualcuno sceglie un'opzione, è utile anche capire quali erano le sue alternative — per capire da quale menu di opzioni stava scegliendo.

Cosa sarebbe successo se qualcuno nel 2015 avesse davvero creduto, e poi detto pubblicamente, che si aspettava legittimamente che la superintelligenza artificiale avrebbe distrutto il mondo? E se, invece di "ma nel frattempo, ci saranno grandi aziende", i capi dei laboratori di IA fossero stati capaci di rovinare l'atmosfera e dire "e questo è decisamente inaccettabile"?

Possiamo dirvelo, perché abbiamo provato noi stessi questo approccio. La risposta è che sarebbero stati accolti con una notevole mancanza di simpatia.

Nessuno nel 2015 aveva visto ChatGPT. Nessuno aveva visto i computer iniziare effettivamente a parlare e (all'apparenza) iniziare a pensare. Era tutto ipotetico e facilmente trascurabile.

Oggi, la superintelligenza e la minaccia di estinzione a breve termine sono argomenti mainstream, almeno nei circoli tecnologici. Ma nel 2015, se ne si parlava seriamente, la gente rispondeva con quel tipo di sguardo perplesso che molti esseri umani temono più della morte.

C'erano persone che si preoccupavano, anche nel 2015, che allineare la superintelligenza potesse effettivamente essere difficile, nel modo in cui lo sono i lanci di razzi. Nessuno di loro ha fondato OpenAI.

Al giorno d'oggi, con l'emergere di ChatGPT e altri modelli linguistici di grandi dimensioni, alcune persone — inclusi genitori con figli chevogliono vedere i propri figli crescere fino all'età adulta — hanno chiesto agli ingegneri di queste aziende di IA perché stiano facendo tutto questo. E quei ricercatori di IA hanno risposto prontamente: "Oh, perché — perché se non lo facciamo noi, la Cina lo farà per prima! E sarà ancora peggio!".

Ma non è quello che dicevano quando OpenAI è stata fondata. E ha poco senso rispetto alla posizione che la Cina ha effettivamente assunto pubblicamente, a metà del 2025. Uno penserebbe che se qualcuno credesse davvero che entrambi questi esiti sarebbero probabilmente orribili per il mondo, almeno solleverebbe la questione di redigere un trattato internazionale per vedere se ci sia qualche altra via, o di trovare qualche altro modo per prevenire la minaccia alla sicurezza nazionale che non comporti una corsa suicida.

Eppure la risposta "Cina" ha il tono giusto. Cattura l'atmosfera corretta. È il tipo di ragionamento che potrebbe plausibilmente giustificare quello che stanno facendo, a prescindere dal fatto che sia la loro vera motivazione o la cosa che li ha spinti inizialmente a entrare in questo campo.

(O almeno così pensiamo.)

Le persone che capivano davvero la superintelligenza e la minaccia che rappresenta semplicemente non hanno fondato aziende di IA. Quelle che l'hanno fatto sono quelle che hanno trovato un modo per convincersi che andrà tutto bene.

Persone normali, tecnologia insolita

Abbiamo descritto la psicologia che ci sembra plausibile per come la vediamo noi. Ma, sinceramente, non sembra che tutte queste spiegazioni siano necessarie.

Come possono le persone fare qualcosa di autodistruttivo che è enormemente redditizio nel breve termine, che porta loro enorme prestigio, attenzione e riconoscimenti, che promette di ricchezze e potere incommensurabili, ma che alla fine li danneggerà per ragioni oscure e complicate a cui potrebbero facilmente trovare una scusa per non credere? Questa è una domanda storicamente strana. Comportamenti del genere si vedono continuamente nei libri di storia.

Alla fine dei conti, non importa come i dirigenti o i ricercatori dell'IA giustifichino le loro azioni, e non è necessario capire quali esatti colpi di scena abbiano portato ciascuno di loro alle loro attuali convinzioni. Non è insolito che persone ricche o ambiziose si lancino in imprese avventate, né che loro i subordinati seguano gli ordini. I danni sono nascosti nel futuro, che appare astratto e facile da ignorare.

Tutto questo è normale comportamento umano. Se le cose vanno avanti così, finirà come spesso finiscono queste cose, ma questa volta non rimarrà nessuno a imparare e riprovare.