Per risolvere sfide difficili, le IA devono prendere sempre più iniziativa.

Si ricordi l'incidente di sicurezza informatica 'capture the flag' del capitolo e si ricordi che questo non è stato causato da un'intelligenza artificiale addestrata per diventare un hacker, ma da un'intelligenza artificiale addestrata per risolvere enigmi generici. Il comportamento 'motivato' si manifesta automaticamente.

Immaginate un'IA incaricata di curare il morbo di Alzheimer. Può avere successo senza essere il tipo di entità che prende l'iniziativa di sviluppare i propri esperimenti e trovare un modo per eseguirli? Magari! Magari l'Alzheimer è il tipo di malattia che può essere curata con alcune semplici scoperte farmacologiche, e magari le IA del futuro avranno un'intuizione migliore rispetto agli esseri umani in materia di farmaci. O magari ci vorranno IA che siano più intelligenti dei biologi umani più brillanti in modo sostanziale. Non lo sappiamo.

Ma che dire del cancro, l'imperatore delle malattie? Sembra più probabile che quello richieda un tipo di IA in grado di capire davvero cosa stia succedendo a livello biologico, a un livello superiore a quello raggiunto dagli esseri umani, anche se non possiamo esserne certi. Magari le IA svilupperanno una cura per il cancro prima di superare quella soglia critica di pericolosità, e sarebbe fantastico, finché dura.

Ma che dire della cura per l'invecchiamento? Quello sembra proprio richiedere un tipo di IA che comprenda davvero a fondo la biochimica.

Le aziende che si occupano di IA continueranno a spingere le IA a diventare sempre più abili, sempre più capaci di risolvere problemi grandi e importanti. E questo spingerà naturalmente le IA a diventare sempre più motivate — un effetto che, ricordiamolo, stiamo già iniziando a vedere in IA come o1 di OpenAI.

Essere tenaci è utile anche quando l'obiettivo non è proprio quello giusto.

Il tipo di esseri umani che cercavano attivamente un pasto caldo, un'ascia più affilata, un amico popolare o un compagno attraente hanno avuto più successo dal punto di vista evolutivo. Se li si confronta con il tipo di esseri umani che se ne stavano a oziare guardando l'acqua tutto il giorno, si può capire perché i desideri e le pulsioni si siano evoluti fino a diventare parte della psiche umana.

Il tipo di esseri umani che volevano un metodo migliore per scheggiare le asce di selce, o volevano convincere i loro amici che il loro rivale era una persona cattiva, e che continuamente si orientavano verso quei risultati, erano più bravi a raggiungerli. Quando la selezione naturale ha "fatto crescere" gli esseri umani, il fatto che questi ultimi abbiano finito per avere tanti desideri diversi che perseguono con tenacia non è stato un caso.

Il meccanismo mentale specifico del desiderio fu forse un caso; le macchine che perseguono ostinatamente gli obiettivi non lo fanno necessariamente per una sensazione di determinazione simile a quella umana, così come Deep Blue non giocava a scacchi per un senso di passione per il gioco simile a quello umano. Ma il perseguimento ostinato degli obiettivi sembra sicuramente un ingrediente importante quando si tratta di raggiungere obiettivi interessanti.

Alcuni individui umani mancano di questo tipo di tenacia e tendono a oziare o ad arrendersi al primo segno di difficoltà. Ma su larga scala, la capacità dell'umanità di risolvere grandi problemi scientifici e ingegneristici è trainata da persone e istituzioni tenaci. Siamo piuttosto scettici sul fatto che una mente possa produrre qualcosa di simile ai risultati a livello macro dell'umanità (e alla capacità di rimodellare drasticamente il mondo) senza avere una certa tenacia al suo interno.

Se un'intelligenza artificiale vuole raggiungere obiettivi difficili nel mondo reale, deve perseguire tali obiettivi con tenacia, trovando in modo dinamico il modo di aggirare qualsiasi ostacolo si presenti sul suo cammino.

Le IA non finiranno necessariamente per avere gli stessi sentimenti interni e desideri degli esseri umani (e infatti, molto probabilmente non li avranno, come sosteniamo nel Capitolo 4), perché i nostri sentimenti specifici sono stati plasmati dai dettagli della nostra biologia e deii nostri antenati. Ma le IA sono suscettibili di finire per avere un comportamento simile al desiderio per gli stessi motivi per cui lo hanno gli esseri umani — perché è utile!

(Di nuovo, stiamo già iniziando a vederlo in laboratorio, come nel caso di o1 di OpenAI, discusso nel Capitolo 3.)

I desideri, le voglie e le pulsioni umane erano evolutivamente utili, anche quando questi desideri, voglie e pulsioni non erano esattamente finalizzati all'idoneità evolutiva in sé. Ipoteticamente, l'evoluzione avrebbe potuto instillare in noi un'unica pulsione predominante per produrre prole, e avremmo potuto quindi cercare pasti caldi e asce più affilate esclusivamente allo scopo di avere più discendenti. Invece, l'evoluzione ci ha instillato desideri per pasti caldi di per sé.

La lezione da trarne è che avere pulsioni e scopi è così utile che può essere d'aiuto per un compito (come l'"idoneità genetica") anche quando il desiderio non corrisponde esattamente al compito. Oppure, beh, può essere utile per un po', fino a quando gli esseri dotati di pulsioni e scopi iniziano a diventare davvero intelligenti, a quel punto il loro comportamento potrebbe divergere nettamente dall'obiettivo di "addestramento", come ha fatto l'umanità quando ha inventato la contraccezione.

Per saperne di più su questo argomento, si veda il Capitolo 4.

Non venendo costruite ma fatte crescere, le IA rischiano di finire per avere obiettivi sbagliati.

Questo è l'argomento del prossimo capitolo: Non otterremo quello per cui ci siamo impegnati.