Se si chiede a un fisico esperto cos'è un motore, potrebbe iniziare indicando un motore a razzo, un motore a combustione e una ruota per criceti, e dire: "Questi sono tutti motori", per poi indicare una roccia e dire: "Ma questo no".

Questa sarebbe una descrizione che indica i motori nel mondo, invece di provare a dare una definizione a parole. Se si insistesse per avere una definizione verbale, il fisico potrebbe dire che un motore è qualsiasi cosa che trasforma l'energia non meccanica in energia meccanica, in movimento.

Questa è meno una dichiarazione su cosa sia un motore, e più una dichiarazione su cosa faccia un motore. Ogni tipo di cosa può essere un motore; le parti interne di un motore a razzo, un motore elettrico e i muscoli di un criceto hanno ben poco in comune. Non c'è molto che si possa dire di utile su tutti questi meccanismi interni contemporaneamente, tranne che tutti convertono altri tipi di energia in energia meccanica.

Diremmo che l'intelligenza è simile. Ci sono molte parti interne diverse che possono dare origine all'intelligenza, incluse quelle biologiche e quelle meccaniche. Un'"intelligenza" è qualsiasi cosa che svolga il lavoro dell'intelligenza.

Scomponiamo questo lavoro in "previsione" e "direzione" perché questo punto di vista è supportato da vari risultati formali.

Inizieremo chiarendo in che senso misurare la previsione è abbastanza oggettivo. Poi lo confronteremo con la direzione, che ha un grado di libertà che la previsione non ha.

Stesse previsioni

È relativamente semplice verificare quanto qualcuno sia bravo nelle previsioni, almeno nei casi in cui la previsione è del tipo "vedrò X" e poi effettivamente vede X.

Possiamo anche valutare le prestazioni delle persone quando fanno previsioni incerte. Supponiamo che voi pensiate: "Sono abbastanza sicuro che il cielo sia blu in questo momento, ma potrebbe anche essere grigio. E sicuramente non è nero". Se guardate fuori dalla finestra e il cielo è effettivamente blu, dovreste ottenere più credito rispetto a se fosse grigio, e molto di più rispetto a se fosse nero.

Se foste dei ricercatori di IA che cercano di rappresentare queste previsioni come numeri su un computer, potreste far scegliere alla vostra giovane IA dei numeri per rappresentare quanto fortemente o debolmente si aspetta varie cose, e poi rinforzare l'IA in proporzione a quanto alto è il numero che ha assegnato alla risposta giusta.

Questo, ovviamente, andrebbe storto rapidamente, quando l'IA imparasse ad assegnare un valore di tre ottotrigintilioni a ogni possibilità.

(Almeno, andrebbe storto in quel modo se steste addestrando l'IA utilizzando i metodi moderni di IA. Per un'introduzione a questi metodi, si veda il Capitolo 2.)

"Ops", potreste dire. "I numeri assegnati a una serie di possibilità mutuamente esclusive ed esaustive dovrebbero avere una somma pari al massimo al 100%".

Ora, se ci riprovate, vedrete che l'IA assegna sempre il valore del 100% a una sola possibilità, cioè quella che considera più probabile.

Perché? Beh, supponiamo che l'IA pensi che la possibilità più probabile abbia circa l'80% di possibilità di verificarsi. Quindi la strategia di assegnare il 100% alla risposta più probabile ottiene un rinforzo del 100% nell'80% dei casi, con una forza di rinforzo media di 0,8.

Invece, la strategia di dare l'80% alla risposta più probabile e il 20% alla sua opposta ottiene un rinforzo dell'80% 8 volte su 10 e un rinforzo del 20% 2 volte su 10. Questo porta a una forza di rinforzo media di solo 0,64. Quindi la strategia di "assegnare il 100% a una risposta" ottiene più rinforzo e vince.

Se volete una strategia di rinforzo che faccia sì che l'IA assegni un numero come l'80% alle possibilità che si verificano circa 8/10 delle volte, dovreste valutarla in base al logaritmo della probabilità che assegna alla verità. Ci sono altre possibilità, ma il logaritmo è l'unico con una proprietà aggiuntiva utile: quando si chiede all'IA di prevedere più possibilità (come il colore del cielo e l'umidità del terreno), non importa se le si considera come un'unica grande domanda (se fuori è blu e asciutto, blu e bagnato, grigio e asciutto o grigio e bagnato) o come due domande separate (su blu vs grigio e su asciutto vs bagnato).

I ricercatori di IA oggi addestrano effettivamente le IA a fare previsioni facendo loro produrre numeri che interpretiamo come probabilità, e rinforzandole in proporzione al logaritmo della probabilità che l'IA ha assegnato alla verità. Ma questo non è solo un risultato empirico sull'addestramento delle macchine; è anche un risultato teorico che era noto molto prima che ChatGPT fosse addestrato. Se aveste conosciuto questa teoria, avreste potuto prevedere correttamente in anticipo che un buon modo per addestrare le IA a svolgere il lavoro di previsione sarebbe stato quello di valutare le previsioni utilizzando i logaritmi.

Non è necessario conoscere questa matematica per valutare le argomentazioni in Prima che sia troppo tardi. Ma questi sono il tipo di principi che fanno da sfondo quando parliamo di "previsione" e "direzione".

esiste della matematica su come misurare il lavoro di previsione. La matematica dice che, nella misura in cui le vostre previsioni su ciò che accadrà sono utili, possono essere espresse come probabilità, indipendentemente dal fatto che abbiate pensato consapevolmente a probabilità numeriche o meno. Da questo deriva una regola di punteggio univocamente definita che vi incentiva a dichiarare le vostre probabilità reali, e che è invariante rispetto alla scomposizione delle previsioni.

Il risultato di tutta questa matematica è che le previsioni possono essere valutate oggettivamente. Quando una mente o una macchina prevede il colore che vedrà guardando fuori dalla finestra, o la prossima parola che vedrà leggendo una pagina web, o il cartello stradale che vedrà guidando verso l'aeroporto, c'è (grosso modo) un solo modo davvero giusto per valutare quanto sta facendo bene.

Il punto non è che, se siete intelligenti, dovete andare in giro a mormorare numeri sul colore del cielo prima di guardare fuori dalla finestra. Quando prevedete di vedere un cielo blu o grigio piuttosto che nero, qualcosa nel vostro cervello agisce un po' come un calcolatore di probabilità da qualche parte lì dentro, che ve ne rendiate conto o meno.

Il punto è piuttosto che tutti i comportamenti simili a previsioni, che si tratti di un'affermazione esplicita, di una previsione senza parole o di qualcos'altro, sono soggetti a una regola di punteggio oggettiva.

Tutto questo significa che quando due menti lavorano con le stesse informazioni di partenza, tenderanno a convergere sulle stesse previsioni man mano che migliorano nella loro capacità predittiva. Questo perché c'è un solo modo per valutare le previsioni (confrontandole con la realtà), c'è una sola realtà da prevedere, e le menti più brave a prevedere concentreranno sempre di più le loro previsioni sulla verità, quasi per definizione.

Tutto questo è radicalmente diverso dalla situazione della direzione, di cui parleremo di seguito.

Destinazioni diverse

Due menti estremamente abili nel prevedere il mondo faranno probabilmente previsioni simili.

Al contrario, due menti estremamente abili nel navigare all'interno mondo spesso non si dirigeranno verso la stessa destinazione.

Questa distinzione è utile per pensare in modo più concreto all'intelligenza, e corrisponde anche a una divisione tra problemi ingegneristici più semplici e meno semplici nell'IA.

Quando si addestra un'IA a fare previsioni, c'è un certo senso in cui tutti i migliori metodi di previsione finiscono per produrre risultati simili. (Questo assumendo che il sistema diventi effettivamente competente; i modi in cui può fallire sono più vari.)

Supponiamo di addestrare un'IA a prevedere il fotogramma successivo visto da una webcam puntata fuori dalla finestra verso il cielo. Quasi tutti i modelli che iniziano a diventare sufficientemente bravi in questo — nell'assegnare in anticipo una probabilità molto più alta a ciò che effettivamente finiranno per vedere — prevederanno che il cielo sarà azzurro-terso, grigio-nuvola o nero-notte, ma non a quadri.

La tecnologia esatta che si usa non avrà molta importanza per il risultato finale. Qualsiasi metodo che funzioni, che ottenga punteggi eccellenti in generale, finirà per assegnare una probabilità simile al fatto che il cielo sia azzurro.

Al contrario, il compito di "dirigere" ha un parametro libero gigantesco e complicato: verso quale destinazione il sistema sta cercando di dirigersi?

I generali su fronti opposti di una guerra possono essere entrambi abili, ma ciò non significa che stiano cercando di realizzare le stesse cose. Due generali possono avere capacità simili ma indirizzare tali capacità verso fini molto diversi.^*

Con la parte predittiva di un sistema di IA, c'è solo una cosa che significa prevedere molto bene: assegnare in anticipo alte probabilità a ciò che alla fine viene effettivamente osservato. E quando un sistema cognitivo sembra diventare generalmente più bravo nella previsione, probabilmente sta migliorando nel tipo particolare di previsione che desideravate. C'è solo un "tipo" di previsione da fare all'interno della vostra configurazione, e un sistema che ha successo probabilmente lo sta facendo.

Se il sistema continua a commettere un particolare errore di previsione, semplicemente aggiungere più potenza di calcolo e più dati al sistema può correggere automaticamente quell'errore di previsione. Si può far funzionare meglio il sistema (nel prevedere le cose che ti interessano) semplicemente rendendolo più potente.

Con la direzione, questo non è vero.

Possiamo ulteriormente rafforzare questa distinzione esaminando la letteratura formale. La direzione — pianificazione, processo decisionale, evitare gli ostacoli, progettazione, ecc. — è un argomento che è stato ampiamente studiato scientificamente. Un importante risultato matematico riguardante la direzione è il teorema dell'utilità di von Neumann-Morgenstern.

Approssimativamente, questo teorema afferma che qualsiasi entità che persegua alcuni risultati piuttosto che altri deve o essere inefficiente^†o essere ben descritta da un insieme di convinzioni probabilistiche e da una "funzione di utilità" — una funzione che descrive come i diversi risultati si scambiano l'uno con l'altro. Le convinzioni, quindi, possono essere valutate in base alla loro accuratezza (come descritto nella sezione precedente), mentre la funzione di utilità è un parametro completamente libero.

Naturalmente, nessuna mente finita può essere perfettamente efficiente. La lezione che traiamo da questo teorema (e da altri risultati dello stesso tipo) è che, nella misura in cui una mente sta svolgendo qualsiasi compito non banale in modo molto efficace, in un certo senso sta facendo (anche se solo implicitamente e inconsciamente) due tipi diversi di lavoro: un lavoro di convinzione (previsione) e un lavoro di soddisfazione delle preferenze (direzione).

Per esempio, consideriamo la favola di Esopo della volpe e dell'uva. Una volpe vede dell'uva dall'aspetto delizioso appesa a una vite. La volpe salta per raggiungere l'uva, ma non riesce a saltare abbastanza in alto, e quindi la abbandona, dicendo: "Beh, probabilmente era comunque acerba".

Se prendiamo la volpe alla lettera, l'(in)capacità della volpe di dirigersi verso l'uva contamina la sua previsione sul fatto che l'uva sia acerba. Se resta fedele a quella nuova previsione, rifiutandosi di mangiare l'uva "acerba" per orgoglio anche se in seguito avesse la possibilità di mangiarla, allora il comportamento della volpe è inefficiente.^‡ Avrebbe potuto fare meglio mantenendo una distinzione più forte tra le sue previsioni (sulla dolcezza dell'uva) e la sua direzione (la sua capacità di ottenere l'uva).

In linea di massima, le menti che funzionano bene possono essere suddivise in ciò che prevedono e ciò verso cui si orientano (più alcune inefficienze). E, come abbiamo visto, la prima può essere valutata in modo relativamente oggettivo, mentre la seconda può variare notevolmente tra menti similarmente competenti.

Predittori impuri

Purtroppo, il fatto che la previsione sia più vincolata rispetto alla direzione non significa che possiamo costruire una superintelligenza affidabile che si limiti a prevedere senza dirigere.

Anche se la matematica dice che una mente che funziona bene può essere più o meno modellizzata come "previsioni probabilistiche più una direzione di orientamento", questo non significa che le IA del mondo reale abbiano moduli di "previsione" e "direzione" nettamente separati.

Un modo per capire perché è questo: un'abilità di "previsione" superumanamente buona non è solo questione di produrre probabilità e far sì che queste probabilità siano magicamente giuste. Una buona capacità di previsione richiede lavoro. Richiede pianificazione ed elaborazione di modi per raggiungere obiettivi a lungo termine — cioè, richiede direzione.

Se si sta cercando di prevedere il mondo fisico, a volte bisogna sviluppare teorie della fisica e scoprire le equazioni che governano quella parte del mondo fisico. E per farlo, spesso bisognerà progettare esperimenti, realizzarli e osservarne i risultati.

E fare questo richiede pianificazione; richiede direzione. Se mentre si sta costruendo un apparato sperimentale ci si rende conto che servono magneti più potenti, allora bisognerà prendere l'iniziativa e cambiare rotta a metà percorso. Le buone previsioni non sono gratis.

Anche scegliere quali tipi di pensieri pensaree in quale ordine è un esempio di direzione (anche se è una capacità di direzione che gli esseri umani spesso esercitano inconsciamente), perché richiede un certo livello di strategia e la scelta degli strumenti giusti per svolgere il compito in questione. Per pensare chiaramente, e quindi essere più bravi nel prevedere le cose, è necessario organizzare i propri pensieri e le proprie azioni in base a vari obiettivi a lungo termine. (Torneremo sul tema del ruolo centrale della direzione nel Capitolo 3, "Imparare a desiderare").

La distinzione matematica tra previsione e direzione è che esiste grosso modo un insieme "corretto" di previsioni verso cui una mente può essere spinta utilizzando un sistema di punteggio appropriato, ma non esiste una destinazione di direzione "corretta" (in senso oggettivo, neutrale rispetto all'agente).^§ Man mano che un'IA viene addestrata per essere più genericamente potente, le sue previsioni diventano più accurate, ma la sua direzione non diventa automaticamente più orientata verso la destinazione che gli esseri umani considerano corretta — perché l'accuratezza è oggettiva, mentre la "correttezza" è un obiettivo di direzione.

L'accuratezza converge; la direzione no.

In teoria, dovrebbero esserci dei modi per assicurarsi che un'IA si stia dirigendo verso le destinazioni che vogliamo. In pratica, questo è difficile, soprattutto perché è una sfida molto diversa dal "rendere l'IA più intelligente e potente in generale", e non c'è un parametro (semplice e non manipolabile) o un sistema di punteggio che possiamo usare per valutare "In che misura questa IA sta cercando di dirigersi verso la destinazione che vogliamo?".

Discuteremo questi argomenti più approfonditamente nei capitoli 4 e 5.

Le tante forme dell'intelligenza

Qualcosa può essere bravo a prevedere e dirigere senza avere molto in comune con il cervello umano.

Il mercato azionario fa previsioni nel campo ristretto dei prezzi delle azioni aziendali a breve termine. Il prezzo delle azioni Microsoft oggi è un indicatore abbastanza affidabile di quello che sarà il prezzo delle azioni domani.^¶

Immagina che domani ci sia una conferenza sugli utili, dove i dirigenti dell'azienda diranno come sono andate le cose nell'ultimo trimestre. Il prezzo delle azioni oggi è alto? Questo fa pensare che i risultati di domani saranno positivi. Oggi è basso? Questo fa pensare che i risultati di domani saranno negativi.

I mercati sono piuttosto precisi in questo senso, perché le persone possono arricchirsi correggendoli quando sbagliano. Quindi i mercati fanno un buon lavoro nel fare previsioni in questo campo ristretto. Prevedono i movimenti dei prezzi delle azioni aziendali a breve termine (e, indirettamente, cose come i raccolti agricoli e le vendite di veicoli) su una vasta gamma di beni e servizi, molto meglio di quanto possa fare un qualsiasi individuo singolo.

Alcune persone riescono a prevedere i movimenti dei prezzi individuali meglio dell'intero resto del mercato azionario, in modi che li rendono molto ricchi. Ad esempio, Warren Buffett ha guadagnato dodici miliardi di dollari in sei anni investendo nella Bank of America quando era in difficoltà a causa della crisi finanziaria del 2011. Ma anche in quel caso, stava prevedendo solo una società tra un numero enorme di società. Qualcuno ne sapesse di più del mercato azionario la maggior parte delle volte sarebbe in grado di guadagnare una quantità incredibile di denaro in modo incredibilmente rapido. Il fatto che nessuno lo faccia ci porta a dedurre che praticamente nessuno conosce i prezzi della maggior parte delle azioni meglio del mercato stesso.^‖

Per quanto riguarda la direzione, l'intelligenza artificiale che gioca a scacchi chiamata Stockfish fa questo tipo di lavoro nel ristretto ambito degli scacchi. Quando gioca una partita di scacchi contro un essere umano, è molto brava a produrre mosse che portano il mondo in stati in cui i pezzi di Stockfish hanno dato scacco matto al re avversario. Non importa quali mosse intelligenti escogiti l'essere umano o quanto si sforzi (a meno di spegnere Stockfish), Stockfish incanala la realtà verso quel singolo obiettivo. Gestisce la scacchiera meglio di qualsiasi essere umano.

Ora dovreste essere in grado di capire perché non cerchiamo di definire l'intelligenza dicendo: "Beh, ci deve essere un modulo di apprendimento, un modulo di deliberazione e alcuni ingranaggi che implementano una scintilla di desiderio" o qualcosa del genere. In realtà non c'è molto in comune tra il funzionamento interno del mercato azionario, quello di Stockfish e quello del cervello umano, così come non c'è molto in comune tra il funzionamento interno di un motore a razzo, di un motore elettrico e di una ruota per criceti.

Un dispositivo intelligente è qualsiasi cosa che svolga il lavoro dell'intelligenza.

O almeno, questo è vero se pensiamo a come definiamo l'"intelligenza" nel libro (e a come gli informatici e i ricercatori di IA di solito pensano all'"intelligenza"). Se volete definire l'intelligenza in modo diverso in altri contesti, per noi va bene. Le parole sono solo parole.

Ma per capire le affermazioni sostanziali che facciamo sul mondo in Prima che sia troppo tardi, quando sentite parlare di "intelligenza artificiale", non pensate a "intelligenza libresca artificiale" o "coscienza artificiale" o "umanità artificiale". Pensate piuttosto a "previsione e direzione artificiali".