Probabilmente sì.

Da certi punti di vista, i progressi dell'IA moderna sembrano graduali.^* Per esempio, nell'estate del 2025, la capacità dell'IA di completare compiti lunghi ha seguito più o meno la curva esponenziale negli ultimi anni,^† e si potrebbe dire che questo è graduale e rassicurante.^‡ Questo significa che i progressi dell'IA saranno belli lenti e prevedibili?

Non necessariamente. Se una quantità sale lentamente o in modo regolare o graduale, non significa per forza che i risultati siano sempre contenuti. La fissione nucleare avviene su uno spettro continuo, ma c'è una bella differenza tra una reazione nucleare a catena che produce meno di un neutrone per ogni neutrone (in cui la reazione si esaurisce) e una reazione nucleare a catena che produce più di un neutrone per ogni neutrone (che porta a una reazione a catena incontrollabile).

Ma non c'è una differenza netta nei meccanismi di base tra i due tipi di reazioni nucleari. Aggiungendo un po' più di uranio, il "fattore di moltiplicazione dei neutroni" passa gradualmente da poco meno di uno a poco più di uno. Le reazioni supercritiche non sono causate dai neutroni che colpiscono gli atomi di uranio con una forza tale da creare superneutroni. Una piccola quantità in più della stessa sostanza di base provoca un grande cambiamento macroscopico. Questo fenomeno è chiamato "effetto soglia".

Il caso degli esseri umani rispetto agli scimpanzé sembra dimostrare che nell'intelligenza c'è almeno un effetto soglia in gioco. Gli esseri umani non sono poi così diversi anatomicamente dagli altri animali. Il cervello umano e quello degli scimpanzé sono molto simili all'interno: entrambi hanno una corteccia visiva, un'amigdala e un ippocampo. Gli esseri umani non hanno uno speciale modulo "ingegneristico" in più che spieghi perché noi possiamo andare sulla luna e loro no.

Ci sono alcune differenze di cablaggio e abbiamo una corteccia prefrontale più sviluppata rispetto agli altri primati. Ma a livello di anatomia macroscopica, la differenza principale è che il nostro cervello è tre o quattro volte più grande. In sostanza, utilizziamo una versione più grande e leggermente aggiornata dello stesso hardware.

E i cambiamenti non sono stati improvvisi nella nostra stirpe. Il cervello dei nostri antenati è diventato sempre un po' più grande e un po' migliore, un passo alla volta. Questo è bastato per creare un enorme divario qualitativo in poco tempo (su scale di tempo evolutive).

Se può succedere con gli esseri umani, probabilmente può succedere anche con le IA.

Non sappiamo quanto le IA siano lontane da queste soglie.

Se sapessimo esattamente che cosa è accaduto negli esseri umani che ci ha permesso di superare la soglia dell'intelligenza generale, forse sapremmo cosa cercare per capire che una soglia critica è vicina. Ma, come vedremo nel capitolo 2, non abbiamo un tale livello di comprensione dell'intelligenza. Quindi stiamo procedendo alla cieca, senza avere idea di dove siano le soglie o di quanto ci siamo vicini.

I recenti progressi nell'IA hanno portato a una maggiore capacità di risolvere problemi matematici e giocare a scacchi, ma non sono stati sufficienti per portare le IA "fino in fondo". Forse basta un modello che sia altre tre o quattro volte più grande, come la differenza tra il cervello degli scimpanzé e quello umano. O forse no! Forse ci vorrà un'architettura completamente diversa e un decennio di progressi scientifici, come nel caso dei moderni chatbot, che derivano da una nuova architettura inventata nel 2017 (e maturata nel 2022).

Quali cambiamenti nel cervello umano ci hanno fatto superare una soglia critica? Forse è stata la nostra capacità di comunicare. Forse è stata la nostra capacità di afferrare concetti astratti in modi che hanno reso la comunicazione così preziosa. Forse stiamo ragionando in termini completamente sbagliati e il cambiamento chiave è stato qualcosa di strano che oggi non è nel nostro radar. Forse è stata una grande combinazione di fattori, ognuno dei quali doveva essere abbastanza maturo da potersi combinare con gli altri per formare quel tipo di intelligenza che ha permesso agli esseri umani di arrivare sulla luna.

Non lo sappiamo. E poiché non lo sappiamo, non possiamo guardare un'intelligenza artificiale moderna e sapere quanto sia vicina o lontana da quella stessa soglia critica.

L'avvento della scienza e dell'industria ha cambiato radicalmente la civiltà umana. L'avvento del linguaggio potrebbe aver avuto conseguenze simili per i nostri antenati. Ma se così fosse, non c'è alcuna garanzia che una di queste capacità agisca come una "soglia critica" per l'IA, perché a differenza degli esseri umani, le IA possedevano fin dall'inizio una certa conoscenza del linguaggio, della scienza e dell'industria.

O forse la soglia critica per l'umanità era una combinazione di molti fattori, dove ognuno di essi doveva essere "abbastanza buono" perché tutto il sistema funzionasse. Le IA potrebbero rimanere indietro in alcune capacità in cui gli ominidi erano più bravi, come la memoria a lungo termine, ma potrebbero comunque mostrare un salto importante nelle capacità pratiche una volta che l'ultimo tassello si incastrerà al suo posto.

Anche se nessuna di queste analogie tra IA e esseri umani dovesse rivelarsi valida, ci saranno probabilmente altre dinamiche che renderanno il progresso dell'IA irregolare e difficile da prevedere.

Forse i deficit nella memoria a lungo termine e nell'apprendimento continuo stanno frenando le IA in un modo che non ha mai ostacolato gli esseri umani. Forse, una volta risolti questi problemi, qualcosa "scatterà" e l'IA sembrerà ottenere una sorta di "scintilla" di intelligenza.

Oppure (come discusso nel libro) si pensi al punto in cui le IA possono costruire IA più intelligenti, che a loro volta costruiscono IA ancora più intelligenti, in un ciclo di retroazione. I cicli di retroazione sono una causa comune degli effetti soglia.

Per quanto ne sappiamo, potrebbero esserci una dozzina di fattori diversi che potrebbero servire come "tassello mancante", così che, quando un laboratorio di IA comprende quell'ultimo pezzo del puzzle, la loro IA inizia davvero a decollare e a separarsi dal gruppo, proprio come l'umanità si è separata dal resto degli animali. I momenti critici potrebbero arrivare in fretta. Non abbiamo necessariamente tutto questo tempo per prepararci.

La velocità di decollo non influisce sul risultato, ma la possibilità di un decollo veloce implica che dobbiamo agire presto.

Alla fin fine, le soglie non contano molto nell'argomentazione secondo cui, se qualcuno costruisce una superintelligenza artificiale, allora tutti moriranno. Le nostre argomentazioni non richiedono che qualche IA capisca come auto-migliorarsi ricorsivamente e poi diventi superintelligente a una velocità senza precedenti. Questo potrebbe accadere, e pensiamo che sia abbastanza probabile che accadrà, ma non è necessario per affermare che l'IA è sulla buona strada per ucciderci tutti.

Tutto ciò che richiedono le nostre argomentazioni è che le IA continuino a migliorare sempre di più nel fare previsioni e nel dirigere il mondo, fino a superarci. Non importa molto se ciò avverrà rapidamente o lentamente.

L'importanza degli effetti soglia sta nel fatto che aumentano l'importanza di una reazione rapida alla minaccia da parte dell'umanità. Non possiamo permetterci il lusso di aspettare che l'IA sia leggermente migliore di ogni essere umano in ogni attività mentale, perché a quel punto potrebbe non esserci più molto tempo a disposizione. Sarebbe come guardare i primi ominidi che accendono il fuoco, sbadigliare e dire: "Svegliatemi quando saranno a metà strada verso la luna".

Gli ominidi hanno impiegato milioni di anni per arrivare a metà strada dalla luna e due giorni per completare il resto del viaggio. Quando possono esserci delle soglie, bisogna stare attenti prima che le cose sfuggano visibilmente di mano, perché a quel punto potrebbe essere troppo tardi.

Notes