Perché ci sono molti modi per ottenere buone prestazioni durante l'addestramento.

Se avete addestrato un'IA a dipingere il vostro fienile di rosso, questo non significa necessariamente che all'IA importino davvero i fienili rossi. L'IA potrebbe finire per sviluppare una preferenza per muovere il braccio con movimenti fluidi e regolari. Oppure potrebbe sviluppare una preferenza per ricevere i vostri sguardi di approvazione. O forse potrebbe sviluppare una preferenza per i colori vivaci. Molto probabilmente, finirebbe per avere un'intera gamma di preferenze. Ci sono molte motivazioni che potrebbero svilupparsi all'interno dell'IA e che, in questo contesto, la porterebbero a dipingere il vostro fienile di rosso.

Se quell'IA diventasse molto più intelligente, quali obiettivi perseguirebbe? Chi lo sa! Molte combinazioni diverse di pulsioni possono sommarsi a "dipingere il fienile di rosso" durante l'addestramento, e il comportamento dell'IA in altri ambienti dipende da quali pulsioni specifiche finiscono per animarla. Si veda la fine del Capitolo 4 per ulteriori approfondimenti su questo punto.

Oggi, le IA sono addestrate ad agire in modo amichevole e disponibile. Non sorprende quindi che si comportino in modo amichevole e disponibile in circostanze simili al loro ambiente di addestramento. I primi esseri umani sono stati "addestrati" dall'evoluzione a riprodursi, e di fatto si sono riprodotti.

Ma la maggior parte degli esseri umani non ha finito per sviluppare un impulso interiore di avere quanti più figli possibile. Quando abbiamo inventato le banche del seme e degli ovuli, il mondo non è impazzito e non ha iniziato a lottare per prenotare appuntamenti con lo stesso entusiasmo che la gente mette per entrare in un'università dell'Ivy League. Le persone improvvisamente hanno avuto l'opportunità di produrre centinaia di discendenti, e per lo più hanno reagito con uno sbadiglio; le code per donare gameti non si sono estese attorno all'isolato, anche se molte persone farebbero volentieri la fila per comprare un nuovo videogioco o per vedere il loro musicista preferito esibirsi.

Gli esseri umani hanno le proprie priorità che sono meramente correlate alla massimizzazione della riproduzione.^* Non siamo solo macchine per "avere quanti più figli possibile", anche se questo è tutto ciò per cui l'evoluzione ci ha "addestrato". Abbiamo dipinto il fienile metaforico di rosso, ma per le nostre ragioni.

La domanda non è se le aziende di IA possano far comportare abbastanza bene i loro chatbot per la maggior parte degli utenti nella maggior parte delle situazioni. La domanda è quali meccanismi effettivi finiscano per animare quel comportamento gentile, e cosa questi meccanismi porterebbero un'IA a perseguire una volta diventata superintelligente.

Le aziende di IA possono addestrare le loro IA ad agire in modo gentile (o, più realisticamente, a parlare come melliflui e amichevoli droni aziendali). Questo influisce sui meccanismi interni che animano l'IA. Questi meccanismi, qualsiasi essi siano, spingono e tirano in una varietà di direzioni diverse, e l'attuale punto di bilanciamento di tutte queste forze all'interno dell'IA — l'attuale equilibrio — è un comportamento da drone aziendale amichevole (con un contorno di strani comportamenti ai margini).

Ma tale equilibrio non è determinato solo dalle forze interne all'IA, ma anche dall'intelligenza dell'IA, dal suo ambiente di addestramento, dal tipo di input che riceve durante l'addestramento e da molti altri fattori.

Come si comporterebbe l'IA in un ambiente diverso? Come si comporterebbe in un ambiente in cui è più intelligente o in cui può avere un maggiore controllo sui propri input? Man mano che l'IA cambia sempre di più il suo ambiente, come agirà in questo nuovo mondo trasformato? In quei mondi diversi, i complicati meccanismi interni alla base del comportamento che osserviamo sono soggetti a trovare un equilibrio totalmente nuovo — così come gli esseri umani moderni seguono diete radicalmente diverse da quelle per cui l'evoluzione ha costruito i nostri antenati; o così come consumiamo tipi di intrattenimento radicalmente diversi. È probabile che lo strano comportamento ai margini venga alla ribalta. Un imbianchino di fienili oggi generalmente non rimarrà un imbianchino di fienili per sempre.

Qual è il risultato finale di tutte queste strane spinte? Cosa farà l'IA, animata da molte motivazioni che hanno poco in comune con ciò che anima gli esseri umani?

Bene, questa è la domanda che tratteremo nel Capitolo 5.