Abbiamo notato l'esempio di Jürgen Schmidhuber, un ricercatore pioniere nel campo dell'intelligenza artificiale, che credeva che un'intelligenza artificiale con preferenze per rendere le cose il più semplici possibile avrebbe finito per amare gli esseri umani, perché gli esseri umani sono semplificatori eccellenti.

Nella nostra esperienza, questo è un tipo di errore molto comune. "Beh, l'intelligenza artificiale probabilmente finirà per sviluppare preferenze estetiche. E gli esseri umani creano arte! Quindi l'intelligenza artificiale vorrà tenerci con sé per creare arte".

Un esempio recente viene da xAI, un importante laboratorio di IA (fondato da Elon Musk) il cui piano dichiarato per la nostra sopravvivenza è quello di far sì che la loro IA si interessi alla "verità" e, poiché gli esseri umani generano verità, saremo tutti al sicuro. (Maggiori informazioni sul piano di questo laboratorio e su altri piani dei laboratori per la sopravvivenza sono disponibili nel capitolo 11).

Per illustrare davvero il problema di questo tipo di ragionamento, è utile studiare un esempio in dettaglio. Prendiamo un esempio un po' più neutro rispetto all'"arte", come la "simmetria".

Supponiamo che i laboratori di IA usino le tecniche attuali per creare IA più intelligenti degli esseri umani che si interessano alla simmetria. Quella sola preferenza per la simmetria risulterebbe in interesse per gli esseri umani?

Potreste argomentare, alla maniera di Schmidhuber: gli esseri umani sono bilateralmente simmetrici! Come potrebbe un'intelligenza artificiale che ama la simmetria sopportare di uccidere qualcosa di così simmetrico come noi? E potreste proporre anche altre argomentazioni, come: gli esseri umani producono molte ruote per automobili, che sono molto simmetriche! Perché un'intelligenza artificiale dovrebbe rimuoverci dal mondo, quando siamo una fonte automatica e preesistente di oggetti simmetrici?

Il problema di questo ragionamento è che è possibile prendere gli atomi che compongono un essere umano e disporli in modi ancora più simmetrici. O riorganizzare gli atomi che compongono la civiltà umana in fabbriche che producono oggetti simmetrici in modo ancora più efficiente. È lo stesso errore che fa il film Matrix, quando immagina che le IA potrebbero mantenere in vita gli esseri umani in capsule come generatori di calore ed elettricità: ci sono modi più efficienti per generare calore ed elettricità.

Per amor di discussione, però, supponiamo di immaginare che le IA davvero apprezzino un tipo di simmetria molto specifico e insolito che considera gli umani come incredibili esemplari di simmetria. Anche in quel caso, perché mai questa preferenza da sola implicherebbe che gli esseri umani viventi oggi possano continuare a vivere liberi, in buona salute e divertendosi?

Pensate come un'intelligenza artificiale. Anche se l'intelligenza artificiale deve tenersi gli umani, quelli che vivono oggi non sono gli umani più simmetrici possibili. L'intelligenza artificiale dovrebbe essere in grado di soddisfare ancora di più la sua preferenza per la simmetria clonando ripetutamente l'umano vivente più simmetrico o creando umani "migliorati" attraverso l'ingegneria genetica.

Allo stesso modo: lasciare che quegli umani se ne vadano in giro liberamente non è il modo più economico per mantenerli in vita e simmetrici. Probabilmente finirebbero in fattorie. Conservando gli esseri umani in modo economico ed efficiente dal punto di vista dello spazio, l'IA può permettersi di creare umani ancora più simmetrici.

Per fare un confronto: l'umanità attualmente non ha un modo più efficiente per produrre uova che farle deporre dalle galline. Di conseguenza, gli allevamenti intensivi, i cui dirigenti si preoccupavano principalmente del numero di uova, hanno finito per mettere le galline in condizioni incredibilmente sgradevoli, perché quello era il modo più economico per ottenere il maggior numero di uova.

Allo stesso modo, le galline che esistevano mille anni fa non erano le ovaiole più efficienti possibili, quindi gli allevatori hanno selezionato galline che deponevano più velocemente. Le galline di mille anni fa non producevano la maggior quantità possibile di carne, nel minor tempo possibile. E così, ora alcune galline moderne sviluppano petti così enormi che non riescono a camminare.

Ad alcuni umani non piace il modo in cui trattiamo le galline, e queste persone esercitano pressioni sugli allevamenti intensivi affinché cambino — perché quegli umani hanno preferenze aggiuntive, oltre alla preferenza per uova economiche. Perché questa pressione esista, è necessario che qualcuno con un certo potere si preoccupi direttamente del benessere delle galline almeno un po', perché prendersi buona cura delle galline non è motivato da una preferenza che riguarda esclusivamente l'estrazione di uova. Un'IA potrebbe, in teoria, avere altre preferenze riguardo agli esseri umani che la portino a trattarci bene, ma non deriverebbero da una preferenza per la simmetria (o per la verità, o per le spiegazioni semplici, o qualsiasi altra preferenza che non riguardi effettivamente noi).

Anche gli allevatori che hanno rapporti meno impersonali con il loro bestiame impediscono agli animali di accoppiarsi come preferiscono. L'allevamento del bestiame è un affare serio e incide troppo sulla redditività futura dell'azienda agricola per lasciare che tori e mucche se la vedano da soli.

E anche questa organizzazione non durerà per sempre. Produrre carne bovina usando le mucche è molto costoso in termini di terreni agricoli, e diverse startup attuali stanno cercando di sintetizzare la carne bovina in modo più diretto.

La carne sintetica non è un problema ingegneristico semplice al livello tecnologico attuale. L'umanità sta appena iniziando a recuperare terreno rispetto a ciò che la selezione naturale riesce a fare in campo di chimica organica. Ma se fossimo più bravi a manipolare gli atomi, ci sarebbero molte meno mucche in giro — non sono proprio il massimo del divertimento da tenere, se non servono per latte o carne.

Quindi le cose non si mettono bene per l'assunzione con cui abbiamo iniziato, per amor di discussione — cioè che un'IA con preferenze aliene lascerebbe vivere gli esseri umani per sempre, in nome della "simmetria". Anche nel caso improbabile in cui l'IA abbia una nozione molto strana di "simmetria" che classifica gli esseri umani molto in alto, è molto più difficile trovare una nozione di simmetria che consideri gli esseri umani ottimali. In ogni caso, le cose non si mettono bene per l'umanità.

Realisticamente, una superintelligenza amante della simmetria non lascerebbe vivere gli esseri umani; se ci lasciasse, non c'è alcuna possibilità reale che ci mantenga sani, felici e liberi allo stesso tempo. A quel punto, avremmo accumulato troppe coincidenze troppo belle per essere vere. Se l'IA si preoccupasse specificamente del nostro benessere e volesse che fossimo felici per quella ragione, allora sarebbe una cosa. Ma immaginare che obiettivi molto più semplici e facili siano sufficienti sembra una fantasia.

Tutti questi argomenti si applicano con uguale forza a "creare semplicemente un'IA che tenga alla verità" o "creare semplicemente un'IA che tenga alla bellezza". È solo che in quei casi è più facile perdersi nella fantasia, perché parole come "verità" e "bellezza" sembrano intuitivamente più belle di "simmetria".

Se qualcosa suona bene come slogan ("fare in modo che l'IA tenga alla verità sopra ogni altra cosa!"), allora la tentazione è quella di immaginare che avrebbe conseguenze positive come politica. La tentazione è pensare che tutte le virtù vadano di pari passo, quindi che sostenere una cosa buona significhi che anche le altre cose buone arriveranno di conseguenza. Ma la natura e l'apprendimento automatico sono meno gentili di così.

Invece di lasciare l'idea piacevolmente vaga, considerate qualsiasi metrica concreta che la superintelligenza potrebbe ottimizzare nella ricerca della "verità". Poi osservate che gli esseri umani non saranno il massimo di quella preferenza per l'apprendimento delle verità. Non ci si avvicineranno nemmeno.

Anche nell'improbabile eventualità che l'IA gravitasse specificamente verso il tipo di verità che gli esseri umani tendono ad esprimere (piuttosto che, ad esempio, equazioni aritmetiche casuali), il modo migliore per ottenere più di quelle verità non sarebbe quello di lasciar vivere gli esseri umani e usarli per generare conversazioni in stile umano.

E in ogni caso, l'attuale popolazione umana — gli umani effettivamente vivi oggi, i vostri amici, la vostra famiglia, voi — non sarebbe tra i produttori di "verità" addomesticati più economici da nutrire e più saporiti da mungere.

Persone felici, sane e libere che conducono vite fiorenti non sono la soluzione più efficiente a quasi nessun problema. Affinché un'IA ci mantenga vivi e in salute, deve interessarsi a noi almeno un po'.