Per prevedere bene il token successivo, i modelli linguistici di grandi dimensioni devono capire come funziona il mondo.

Supponiamo che un medico stia scrivendo un referto su cosa è successo a un paziente. Una parte del referto medico recita:

Il terzo giorno di ricovero, il paziente ha sviluppato confusione acuta e tremori. I livelli sierici di ammoniaca sono risultati essere...

Immaginiamo un'IA addestrata su questi dati a cui viene chiesto di prevedere la parola successiva, con due candidati plausibili: "elevati" o "normali". Non si tratta solo di prevedere il tipo di parole che usano gli esseri umani, ma di prevedere cosa è successo nella realtà medica, nella biologia e all'interno del paziente. Quanta ammoniaca c'era da misurare, nella vita reale?

L'IA che prevede la parola successiva qui ha un compito più difficile rispetto all'essere umano che ha scritto il referto. L'autore umano del referto si limita a riportare ciò che è stato effettivamente osservato. L'IA che deve predire il referto deve invece indovinarlo in anticipo.

L'IA dà il 70 % di probabilità a "elevati", il 20 % a "normali" e il 10 % a un sacco di altre parole.

La parola successiva effettiva del referto è "normali".

Tutto ciò che all'interno dell'IA pensava sarebbe stato "elevati" perde un po' di forza, nella comprensione medica dell'IA. Ogni parametro viene aggiustato di pochissimo nella direzione di rendere la comprensione medica che prevedeva "normali" più dominante.

Fino a quando, dopo un addestramento sufficiente, l'IA esegue alcune diagnosi mediche meglio della maggior parte dei medici.

L'IA non viene addestrata per scrivere frasi senza senso che assomigliano a un tipico referto medico. Viene addestrata per prevedere l'esatta parola successiva in tutti i particolari referti medici che vede.

Forse, se si partisse da un modello molto piccolo con troppi pochi parametri, questo potrebbe imparare solo a scrivere frasi senza senso con un tono medico, ma con modelli più grandi, non sembra essere quello che succede nei benchmark che mettono a confronto medici umani e IA.

Quando qualcuno vi mette un braccio intorno alle spalle e vi dice con tono di grande saggezza che un'IA è in realtà "solo un pappagallo stocastico", forse sta immaginando quei divertenti vecchi programmi per computer che estendevano le frasi in base alla frequenza dei gruppi di parole ("n-gram"): "Nelle occasioni passate in cui abbiamo visto queste due parole apparire nel corpus, qual è stata solitamente la parola successiva?"

I sistemi che indovinano la parola successiva in base alle ultime due o tre parole sono banali ed esistevano molto prima dei modelli linguistici di grandi dimensioni. Non sfidano gli esseri umani nella capacità di prevedere i casi medici. Non assomigliano a persone che parlano. Se fosse possibile raccogliere miliardi di euro di ricavi semplicemente con il pappagallo probabilistico, la gente lo avrebbe fatto molto prima!

Se i miliardi di calcoli all'interno di un vero modello linguistico di grandi dimensioni non facessero alcun lavoro pesante, se il sistema si limitasse a sputare fuori una supposizione superficiale basata sulle caratteristiche superficiali delle parole precedenti, allora sarebbe simile ai sistemi del passato che effettivamente sputavano fuori supposizioni superficiali. Ad esempio, se addestrato su Jane Austen, un sistema n-gram produce:

"Siete uniformemente affascinante!" esclamò lui, con un sorriso di associazione e di tanto in tanto mi inchinavo e loro percepirono una carrozza a quattro da desiderare

Un modello linguistico di grandi dimensioni a cui viene chiesto di produrre una frase nello stile di Jane Austen è drammaticamente più convincente; se non ci credete, provatea chiederlaa uno di loro.

Inoltre, anche se non possiamo sapere molto su ciò che accade nella mente di un'IA, la società di IA Anthropic ha pubblicato una ricerca che dice che la loro IA (Claude) stava pianificando più di una sola parola in anticipo. Cioè, Claude stava considerando quali frasi e significati successivi potessero essere plausibili, per indovinare quali prossime lettere potessero comparire.

Le IA possono già andare oltre i dati di addestramento o fare a meno dei dati umani.

Nel 2016, un'intelligenza artificiale chiamata AlphaGo, creata da Google DeepMind, ha battuto il campione mondiale umano nel gioco da tavolo Go. È stata addestrata su un'enorme libreria di partite di Go giocate da esseri umani e ha anche imparato giocando molte partite contro se stessa.

Il fatto che sia riuscita a battere gli umani suggerisce che sia stata in grado di apprendere strategie generali dal suo addestramento e che abbia modellizzato con successo schemi ricorrenti profondi nei suoi dati di addestramento, inclusi (forse) schemi ricorrenti profondi che gli umani non avevano ancora notato. La discesa del gradiente rafforza tutto ciò che funziona, indipendentemente dalla sua provenienza.

Ma il dominio di AlphaGo era tecnicamente solo indicativo del fatto che le IA possono superare di gran lunga i loro dati di addestramento. Si potrebbe ancora obiettare che forse AlphaGo stava solo copiando gli esseri umani e riusciva a vincere essendo più coerente nell'applicare abilità di livello umano, piuttosto che utilizzando nuovi schemi che gli esseri umani avrebbero trovato innovativi o intuitivi.

Questo non si adatterebbe molto bene al caso degli scacchi al computer (dove i maestri di scacchi umani imparano molte strategie e intuizioni dai motori di scacchi al computer che li superano di gran lunga). Ma sulla scia di AlphaGo, c'era chi sosteneva che l'IA avesse battuto Lee Sedol solo perché era stata addestrata su enormi quantità di dati umani.

Anche quelli di DeepMind hanno visto queste obiezioni. Nel corso del successivo anno e mezzo, hanno creato un'intelligenza artificiale chiamata AlphaGo Zero, rilasciata nel 2017. Non è stata addestrata con nessun dato umano. Ha imparato il gioco solo giocando da sola. Ha superato i migliori giocatori umani dopo solo tre giorni.

Si potrebbe ancora obiettare che il Go è molto più semplice del mondo reale e che è molto più facile imparare il Go da zero che imparare (ad esempio) la scienza, la fisica e l'ingegneria da zero. Ed è vero! Ma non è esattamente quello che dicevano i detrattori prima che i computer diventassero bravi a giocare a Go.

Nel 1997, diciannove anni prima che AlphaGo vincesse, la gente pensava che ci sarebbero voluti cento anni prima che i computer potessero giocare a Go come dei campioni. Quindi sappiamo almeno che molte persone hanno scarse intuizioni su questo genere di cose.

Il mondo reale è un ambiente più complicato del Go. Gli schemi cognitivi alla base dell'ingegneria, della fisica, della produzione, della logistica, ecc. sono più complessi degli schemi cognitivi alla base del giocare a Go a livello esperto. Ma non c'è alcuna base teorica per l'idea che, una volta che le IA saranno in grado di apprendere tali schemi, saranno limitate alle varianti umane. La discesa del gradiente rafforzerà le parti dell'IA che trovano schemi cognitivi che funzionano davvero bene, indipendentemente dalla loro provenienza.

Niente di tutto questo è un argomento a favore del fatto che i modelli linguistici di grandi dimensioni in particolare impareranno quegli schemi al punto da poter automatizzare il progresso scientifico e tecnologico. Non sappiamo se saranno in grado di farlo o meno. Il punto è che "semplicemente" addestrarli sui testi umani non è affatto un limite fondamentale. Sono addestrati solo sui dati umani, sì, ma non lasciate che questo vi impedisca di vedere le scintille di generalità e i suggerimenti di ragionamento profondo sepolti nella gigantesca montagna di "istinti" superficiali.

Nel capitolo 3 approfondiremo come un'IA possa generalizzare da una serie ristretta di esempi a una capacità più generale.

Notes