Per prevedere i token è necessario comprendere il mondo.

Immaginare che un'IA che prevede il token successivo non possa pensare davvero è come immaginare che un'immagine codificata usando 1 e 0 binari non possa rappresentare un fiore rosso. L'IA sta producendo token, sì, ma si possono codificare cose importanti nei token! Prevedere cosa viene dopo è un aspetto fondamentale dell'intelligenza in cui processi come la "scienza" e l'"apprendimento" si inseriscono facilmente.

Considerate la sfida di prevedere del testo presente su internet. Da qualche parte sul web, si può leggere di uno studente di fisica curioso che intervista un professore saggio. Il professore riflette in silenzio sulla domanda e poi produce la sua risposta, che viene successivamente trascritta.

Il compito di prevedere con precisione la risposta di quel professore implica prevedere i suoi pensieri interni sulla fisica. E prevedere i suoi pensieri interni sulla fisica implica prevedere come comprenderà la domanda dello studente, e prevedere cosa il professore sa di fisica, e prevedere come applicherà quella conoscenza.

Se un'IA è in grado di prevedere i testi su Internet così bene da poter prevedere la risposta originale di un fisico a una domanda, la prima volta che la vede, allora l'IA deve necessariamente possedere la capacità di ragionare in modo originale sulla fisica autonomamente, almeno quanto quel professore di fisica.

Quando si tratta di prevedere un testo che riflette un mondo complicato e disordinato, la memorizzazione meccanica non serve a molto. Per fare previsioni accurate, bisogna sviluppare la capacità di prevedere non solo il testo, ma anche il mondo complicato e disordinato che sta dietro al testo.

Le moderne IA non si limitano a prevedere token.

È vero che i primi modelli linguistici di grandi dimensioni, come GPT-2 e il primo GPT-3, erano stati addestrati esclusivamente per il compito di previsione. Il loro "unico lavoro", per così dire, era quello di riprodurre l'esatta distribuzione dei loro dati di addestramento — testi estratti da vari siti web.

Ma quei giorni sono finiti. I moderni modelli linguistici sono addestrati a rispondere in vari modi che i loro creatori considerano più utili. Questo viene tipicamente fatto utilizzando l'"apprendimento per rinforzo".

In un contesto di apprendimento per rinforzo, gli aggiornamenti applicati a un modello di IA tramite la discesa del gradiente si basano su quanto bene riesce (o quanto male fallisce) in un determinato compito. Una volta che gli output di un modello di IA sono plasmati da questo tipo di addestramento, non sono più pure previsioni — hanno anche un aspetto di direzione.

ChatGPT potrebbe essere in grado di prevedere che la conclusione più probabile di una barzelletta sporca è una parolaccia, ma anche quando si trova in un contesto in cui ha iniziato a raccontare la barzelletta, spesso orienta il finale della barzelletta verso una battuta diversa per evitare di produrre quella parola, perché in precedenza è stato addestrato a non dire parolacce. È questo che dà origine a esempi interessanti di comportamento simile al desiderio nei casi come quelli discussi nel Capitolo 3.

Anche se le IA non fossero addestrate a completare compiti, è probabile che addestrarle puramente per la previsione alla fine le indurrebbe a dirigere. Per prevedere il complicato mondo reale, e i complicati esseri umani che vi abitano, un'IA avrebbe probabilmente bisogno di molte parti interne che dirigono — così da poter orientare la propria attenzione verso le parti più rilevanti dei problemi di previsione. E spesso accade che il modo migliore per prevedere con successo le cose è orientare il mondo in una direzione che realizzerà quelle previsioni, come quando uno scienziato scopre come progettare e condurre un nuovo esperimento.

Infine, un'IA addestrata a diventare molto brava nelle previsioni probabilmente non si preoccuperà solo delle previsioni. Per ragioni che discuteremo nel Capitolo 4, probabilmente si ritroverebbe con ogni sorta di obiettivi strani e alieni. Ma questo è comunque un punto irrilevante; le IA moderne sono addestrate non solo a fare previsioni, ma a completare compiti.