Le aziende di IA stanno affrontando un problema straordinariamente difficile, in una situazione in cui sono in gioco le vite di tutti. Stanno almeno trattando la situazione con la serietà che merita?

Possiamo confrontare le aziende di IA con un gruppo di persone che stanno gestendo in modo competente i rischi di loro competenza: i controllori del traffico aereo.

La Federal Aviation Administration degli Stati Uniti gestisce più di tre milioni di passeggeri su oltre 44.000 voli ogni giorno. Negli ultimi vent'anni, c'è stato in media circa un incidente mortale all'anno, ovvero circa un incidente ogni venti milioni di ore di volo.

I rapporti post-mortem su tali incidenti, come questo del 2019 o questo del 2018, contengono quasi duecento pagine di dati, test, esami e dettagli investigativi. Catalogano le specifiche tecniche di progettazione dei sottosistemi rilevanti dell'aereo, la storia lavorativa di piloti e assistenti di volo, dettagli sulla compagnia aerea e sull'aeroporto, trascrizioni vocali dalla cabina di pilotaggio e dati meteorologici precisi su giorno, ora e minuto dell'incidente.

Sono necessarie venti pagine solo per riassumere l'analisi tecnica effettuata per determinare la causa probabile. Ecco un estratto:

La pala n. 13 della ventola nel motore sinistro si è distaccata a causa di una cricca da fatica a basso numero di cicli originatasi nella coda di rondine della radice della pala, all'esterno del rivestimento. L'esame metallurgico della pala ha rilevato che la sua composizione materiale e la sua microstruttura erano coerenti con la lega di titanio specificata e che non sono state osservate anomalie superficiali o difetti del materiale nell'area di origine della frattura. La superficie di frattura presentava cricche da fatica originatesi in prossimità della zona in cui, secondo le previsioni, si concentrano le maggiori sollecitazioni operative e, quindi, la maggiore probabilità di innesco di cricche.

La pala della ventola coinvolta nell'incidente si è rotta dopo 32 636 cicli dall'inizio. Allo stesso modo, la pala della ventola fratturatasi nell'incidente PNS dell'agosto 2016 (vedi sezione 1.10.1), così come le altre sei pale della ventola criccate del motore coinvolto nell'incidente PNS, si sono rotte dopo 38 152 cicli dall'inizio. Inoltre, tra maggio 2017 e agosto 2019 sono state individuate altre 15 pale della ventola incrinate sui motori CFM56-7B, che al momento del rilevamento delle incrinature avevano accumulato in media circa 33.000 cicli dall'inizio della loro vita utile.

Ecco cosa succede quando una professione tecnica prende sul serio la sfida di evitare un disastro.^*

Confrontate la professione del controllo del traffico aereo con il comportamento delle aziende di IA descritto nel capitolo 11.

Le aziende di IA sono ancora nella fase in cui si buttano giù idee e si dicono frasi vagamente rassicuranti ai giornalisti e agli inventori. In queste aziende, l'allineamento della superintelligenza viene visto come un gioco, non come una disciplina ingegneristica, e tanto meno come qualcosa di pericoloso.

La NASA richiede che un lancio con equipaggio abbia al massimo una probabilità di 1 su 270 di uccidere l'equipaggio (https://ntrs.nasa.gov/api/citations/20200001592/downloads/20200001592.pdf), e l'Agenzia prende sul serio questo limite, anche se le uniche persone a rischio sono un equipaggio di volontari che hanno accettato il rischio. I laboratori di IA non puntano nemmeno lontanamente a un livello di sicurezza così severo, pur lavorando su tecnologie che mettono in pericolo molto più di qualche volontario.

L'unico caso storico che conosciamo in cui gli scienziati hanno espresso seria preoccupazione che una certa invenzione potesse uccidere letteralmente tutti risale al Progetto Manhattan. Alcuni scienziati hanno espresso il timore che una bomba nucleare potesse diventare così calda da iniziare a fondere l'azoto nell'atmosfera*, trasformando l'atmosfera in plasma e uccidendo tutta la vita sulla Terra. Per fortuna, avevano una buona comprensione delle leggi fisiche in gioco e potevano fare calcoli. Prima di fare i calcoli, uno degli scienziati, Arthur Compton, decise che avrebbe lasciato il progetto se la probabilità di incendiare l'atmosfera fosse stata superiore a 3 su 1.000.000. Pensava che fosse meglio rischiare che i nazisti battessero gli alleati nella corsa alla bomba piuttosto che rischiare anche solo una probabilità su 3 in 1.000.000 di trasformare tutta l'aria in plasma con le proprie mani.

Ricordiamo che Sam Altman, il capo di OpenAI, ha detto pubblicamente:

Lo sviluppo di un'intelligenza artificiale superiore a quella umana è probabilmente la più grande minaccia per la sopravvivenza dell'umanità.

E il capo di Anthropic, Dario Amodei, ha detto ufficialmente:

Penso di aver detto spesso che la probabilità che qualcosa vada davvero male su scala mondiale è tra il dieci e il venticinque per cento[.]

E Elon Musk, il capo di xAI, ha dichiarato pubblicamente che:

Penso che quando saremo reattivi nella regolamentazione dell'IA, sarà troppo tardi. L'IA rappresenta un rischio fondamentale per l'esistenza della civiltà umana.

Non fraintendeteci: pensiamo che la probabilità del "10-25%" di Amodei sia ridicolmente ottimistica, visti la difficoltà del problema e il fatto che gli umani questa volta non possono imparare attraverso tentativi ed errori. Ma anche così, i suoi numeri sono folli.

I progetti ingegneristici seri e critici per la sicurezza sono fondamentalmente diversi dalle operazioni dei laboratori di IA. Iniziative serie come la NASA, il Progetto Manhattan o il controllo del traffico aereo hanno una conoscenza approfondita di cosa esattamente succede all'interno dei sistemi che gestiscono, e fanno analisi dettagliate di ogni guasto. Considerano importanti le sorprese e le stranezze, perché sanno che i guasti catastrofici spesso sono costituiti da tanti piccoli malfunzionamenti che si concatenano nel modo sbagliato.

Nel frattempo, le IA stanno mandando una serie sempre più ampia di segnali di avvertimento, e i laboratori continuano ad andare avanti dicendo che probabilmente tutto andrà bene, in un modo o nell'altro.

Non stanno nemmeno cercando di simulare il livello di rispetto che il controllo del traffico aereo ha per una vera sfida alla sicurezza; si limitano a buttare lì garanzie allegre come "GPT-4 è il modello più allineato che abbiamo prodotto finora!".

Il che, in un certo senso, è positivo, perché rende più facile capire che queste aziende non sono il tipo di entità a cui affidare la risoluzione di un problema come l'allineamento della superintelligenza artificiale.

In un contesto tecnologico come quello attuale, dove le IA non vengono costruite ma fatte crescere e l'umanità ha una sola vera possibilità, nessuno è in grado di fare ciò in modo sicuro, indipendentemente da quanto sia cauto e rigoroso il suo approccio ingegneristico.

Ma certamente semplifica le cose vedere che nessuno degli sviluppatori di questa tecnologia è minimamente cauto o rigoroso nei propri piani o pratiche di sicurezza.