Cosa deriva dal comprendere i modelli linguistici di grandi dimensioni? In che modo questo ci aiuta a capire l'intelligenza artificiale più intelligente degli esseri umani e come evitare che tutti muoiano?

Un vantaggio è che sapere concretamente cosa succede lì dentro — almeno la parte che possiamo vedere, i numeri imperscrutabili — può potenzialmente darci una sensazione più concreta, più solida, rispetto a sapere solo che "un giorno ci siamo svegliati e i computer hanno iniziato a parlare per qualche motivo".

Per esempio: forse se sisi sa che gli attuali modelli linguistici di grandi dimensioni sono costruiti addestrando solo l'uno per cento dei parametri rispetto alle sinapsi contenute nel cervello umano, è più facile capire perché l'IA non rimarrà per sempre al livello di potenza attuale.

Quando si progetta un trattato internazionale per fermare la corsa verso la superintelligenza, è utile sapere che "addestrare" un'IA è una fase diversa dal far funzionare l'IA (quest'ultima è chiamata "inferenza").

È altresì utile sapere che la separazione di queste fasi è un fatto contingente e temporaneo relativo al funzionamento attuale dell'IA e che un algoritmo futuro potrebbe cambiare le cose. Oggi si potrebbe redigere un trattato che separi il trattamento dell'addestramento dell'IA dall'inferenza dell'IA, ma bisognerebbe essere pronti a modificare tale teoria se gli algoritmi cambiassero.

Sapere che esiste un algoritmo è importante, così come sapere come, in alcuni casi semplici, esso crei le proprietà dell'IA che devono essere regolamentate. Se si comprendono i fondamenti dell'algoritmo, si è in una posizione migliore per capire il tipo di ricerca che l'industria dell'IA sta (legalmente, per ora) cercando di fare, e come ciò potrebbe influenzarne le regole alla base se fosse loro consentito procedere.

L'algoritmo del trasformatore, senza il quale l'IA attuale non esisterebbe, è stato un grande passo avanti sviluppato da un piccolo gruppo di persone presso Google. Il prossimo passo avanti di questo tipo potrebbe o meno portare l'IA oltre una soglia critica. È più facile capirlo se si ha un'idea di cosa fa un "trasformatore", di quanto sia semplice e del perché abbia avuto un impatto così importante sul settore.

C'è molta disinformazione che si basa sul fatto che chi ascolta non sa come funziona l'IA. Alcune persone sostengono che gli esseri umani capiscano cosa succede all'interno delle IA attuali, quando invece non è così. Altri vi diranno che le IA non potrebbero mai essere pericolose perché sono "solo matematica," come se ci fosse un abisso invalicabile che separa la cognizione dell'IA basata su enormi quantità di "matematica" dalla cognizione umana basata su enormi quantità di "biochimica".

L'8 luglio 2025, Grok 3 ha iniziato a definirsi MechaHitler. Per qualche motivo, il CEO di Twitter ha scelto il giorno successivo per dimettersi.

Per comprendere l'accaduto, è importante considerare se si ritiene che i creatori di Grok abbiano deliberatamente istruito Grok a comportarsi in quel modo o se ci si rende conto che le IA vengono "fatte crescere" e che gli sviluppatori di IA hanno capacità limitate di controllare o prevedere il loro comportamento.

È grave in un certo modo se i creatori di Grok hanno creato MechaHitler di proposito; è grave in un modo diverso se i creatori hanno ottenuto MechaHitler per caso, cercando di spingere Grok in una qualche direzione (possibilmente non correlata) senza essere in grado di prevedere gli effetti che ciò avrebbe avuto sul comportamento di Grok.^*

Speriamo che le informazioni fornite in Prima che sia troppo tardi costituiscano un utile baluardo contro idee sbagliate comuni e disinformazione. Per i lettori interessati a maggiori dettagli, forniamo una spiegazione più completa di come funziona un modello linguistico di grandi dimensioni specifico qui sotto.

Sarà abbastanza? Alcune persone sostengono che solo chi si trova all'avanguardia assoluta della ricerca attuale possa sapere se le IA (simili ai modelli linguistici di grandi dimensioni o meno) siano destinate a distruggere l'umanità.

Io (Yudkowsky) una volta ho partecipato a una conferenza a Washington, DC, per persone che lavorano sulle "politiche sull'IA". Mentre ero lì, un paio di persone mi si sono avvicinate e mi hanno chiesto se potessi spiegare loro come funzionano i trasformatori. "Beh", ho detto, "sarebbe molto più facile con una lavagna, ma per provare a dare un riassunto divulgativo di cosa succede lì dentro, l'idea chiave è che per ogni token calcola query, chiavi e valori..." e ho continuato per un po', cercando di esprimere tutto in termini adatti ai principianti. Alla fine, le due persone sono riuscite a inserirsi e a spiegare che in realtà erano programmatori di IA. Stavano girando per la conferenza per controllare se le persone che affermavano di lavorare nelle politiche sull'IA sapessero spiegare come funzionano i trasformatori. Mi hanno detto che fino a quel momento ero stata l'unica persona in grado di rispondere.

Sentire questo mi ha preoccupato un po'.

È legittimo chiedersi quanto conti davvero, per le politiche sull’IA, capire esattamente come funzionano i trasformatori — quanto i piccoli dettagli cambino qualcosa nel quadro generale.

Chi lavora nelle politiche sull'IA deve davvero capire il meccanismo query-chiave-valore? Da un certo punto di vista — per i nerd a cui viene facile imparare questo tipo di cose — certo che dovrebbe impararlo; potrebbe essere importante. Da questo punto di vista, sembra strano e inquietante se qualcuno a una conferenza dice di lavorare nelle politiche sull'IA ma non ha idea di come funzionino i trasformatori.

Più pragmaticamente, alcuni aspetti dei trasformatori e della loro storia possono essere rilevanti per questioni più ampie. Ad esempio, l'algoritmo standard necessita di quantità sempre maggiori di potenza di calcolo man mano che l'IA cerca di considerare sempre più "contesto" simultaneamente — documenti più lunghi, codebase più grandi. Non si può semplicemente spendere risorse di calcolo 10 volte maggiori e ottenere un'IA che funzioni su un progetto 10 volte più grande; bisogna fare qualcosa di intelligente affinché un progetto 10 volte più grande costi meno di 100 volte la potenza calcolo.

Per le politiche, è importante sapere anche quanto tempo sia stato necessario per inventare l'algoritmo del trasformatore, quante persone siano state necessarie per inventarlo e quanto sia complicato quell'algoritmo. La storia è una guida utile (anche se imperfetta) per capire quanto dobbiamo prepararci per un'altra grande svolta come quella. Allo stesso modo, è rilevante per le politiche sull'IA sapere quanto miglioramento abbiano rappresentato i trasformatori rispetto alla tecnologia precedente ("reti neurali ricorrenti") per l'elaborazione del testo — perché quel tipo di cose potrebbe accadere di nuovo.

Bisogna davvero essere in grado di abbozzare le matrici QKV?

Probabilmente no. Noi sappiamo farlo, e in un gruppo di decine di persone che lavorano sulle politiche sull'IA, ci sentiremmo più ottimisti se almeno una avesse le conoscenze necessarie per fare lo stesso. Essere più sicuri non fa mai male; non si sa mai quale fatto importante possa finire per nascondersi in un dettaglio del genere.

Io (Yudkowsky) non riesco a ricostruire a memoria i dettagli di una porta SwiGLU e come differisca da una GLU, perché quando l'ho verificato, i dettagli esatti sembravano non avere alcuna rilevanza per questioni più ampie, quindi non li ho memorizzati. Ma potrebbe essere informativo per un principiante sapere che la SwiGLU è stata trovata con una sorta di test alla cieca, e che gli autori dell'articolo hanno detto apertamente di non avere idea del perché queste tecniche funzionino nella pratica. Conoscevamo già molti casi del genere, ma se non si sapeva che le persone che propongono miglioramenti architetturali spesso dicono di non avere idea del perché funzionino, questa è un'informazione rilevante.

Tutto ciò si riassume in: sapere almeno un po' come funzionano i modelli linguistici di grandi dimensioni è importante per poter capire quanto poco chiunque sappia dell'IA moderna.

A volte, gli esperti fingono di avere conoscenze segrete accessibili solo a chi ha lavorato per anni a far crescere un'IA. Ma non riescono a definire le loro conoscenze, e chi scrive articoli usa frasi come (per citare l'articolo che presenta la porta SwiGLU):

Non diamo alcuna spiegazione sul perché queste architetture sembrano funzionare; attribuiamo il loro successo, come tutto il resto, alla benevolenza divina.

A volte, gli esperti scientifici sanno cose che noi non sappiamo. Ma è piuttosto raro nella scienza che qualcuno dica: "Ho una conoscenza estremamente rara e raffinata che dimostra che quello che dite è sbagliato, e dovete semplicemente credermi sulla parola; non posso dirvi quali risultati sperimentali o formule matematiche conosco che voi non conoscete".

Potete immaginare un mondo in cui bisognerebbe ascoltare solo le persone che guadagnano stipendi a sette cifre per sapere come impostare il programma di apprendimento su un ottimizzatore a discesa del gradiente, un mondo in cui solo loro sono abbastanza intelligenti da aver letto gli esperimenti chiave e imparato le formule chiave per sapere che l'umanità sarà perfettamente al sicuro dalla superintelligenza artificiale, o per sapere che la superintelligenza artificiale non potrà essere creata per altri 100 anni. Questo genere di cose a volte succede in altri campi della scienza! Ma quando succede, l'esperto di solito può indicare qualche formula o risultato sperimentale e dire: "Questa è la parte che i non addetti ai lavori non capiscono". Non ci viene in mente nessun caso storico in cui si sia affermato che una conoscenza fosse del tutto inaccessibile a un pubblico esterno con competenze tecniche e che tale conoscenza si sia poi rivelata vera.

Potrebbe arrivare un momento in cui un rappresentante dell'industria dell'IA vi metterà un braccio intorno alle spalle e insisterà sul fatto che lui capisce cosa sta costruendo, che si tratta solo di numeri, che andrà tutto bene. È utile, quindi, conoscere un po' i dettagli di come vengono fatte crescere le IA, in modo che, quando qualcuno vi fa questa affermazione, possiate chiedergli come mai sia così sicuro.