Un modo di vedere il problema di impedire all'IA di andare così forte è che le aziende di IA continueranno a chiedere alle loro IA di fare di più, passando dal tipo di lavoro che di solito fanno i singoli esseri umani al tipo di lavoro che fa l'umanità. Hanno intenzione di chiedere all'IA di compiere il tipo di imprese di cui l'umanità è capace come specie.

I singoli esseri umani a volte si accontentano di vivere e morire in un appartamento o in una capanna di contadini con il proprio coniuge e qualche figlio, di considerare questa una vita ben vissuta, e di dire, e a volte anche pensare sinceramente, che non hanno chiesto nulla di più.

Ma l'umanità è passata da un milione di cacciatori-raccoglitori a cento milioni di agricoltori e si sta avvicinando a dieci miliardi di industriali.

Ci sono persone che si accontentano di non capire le profondità remote della matematica o la fisica che spiega perché le stelle bruciano. Invece, si accontentano di concentrarsi sulla comprensione delle persone che li circondano, sul legame con amici e familiari; dicono, e a volte lo pensano davvero, di essere felici e di non desiderare altro. E poi ci sono stati altri esseri umani, nel corso della storia, che si sono inventati delle risposte su cosa fossero le stelle, perché volevano una qualche risposta, qualunque essa fosse. Ma erano personalmente soddisfatti di quelle risposte e non apprezzavano il fatto che altri mettessero in discussione la loro teoria.

L'umanità ha continuato a fare domande. L'umanità ha indagato fino a trovare le incongruenze. L'umanità ha costruito telescopi, microscopi, microscopi elettronici e acceleratori di particelle. L'umanità si è comportata, su una scala temporale di secoli, se non sempre di anni, come se volesse davvero conoscere tutte le risposte. L'umanità ha imparato la matematica e la fisica e la psicologia e la biologia e l'informatica, e in nessun momento ha mai deciso di aver imparato abbastanza e di poter smettere di cercare di imparare altro.

Siamo dei fan, onestamente. Sappiamo che alcune persone non lo sono, ma noi lo siamo. È un punto di controversia politica, e questa questione non ha davvero bisogno di ulteriori controversie politiche, ma non fingeremo di non avere le opinioni politiche che abbiamo, anche se ci proponiamo di metterle da parte.

Ma il punto che stiamo sollevando qui non è un giudizio morale. È un punto vero e rilevante anche per chi non è un fan di ciò che l'umanità ha fatto.

È l'osservazione che l'umanità ha lavorato sodo. E le conquiste più difficili, come i grattacieli, i reattori nucleari, o le terapie geniche, non avrebbero potuto essere raggiunte solo con quel tipo di cognizione che è accomodante, che si allontana quando incontra una difficoltà, perché affrontare una sfida particolare non era mai stata la cosa più importante nella vita.

Non vogliamo sembrare troppo entusiasti nell'attribuire poteri magici all'intelligenza collettiva; non aderiamo alla filosofia che sostiene che i gruppi che discutono insieme ottengono una magia qualitativamente superiore che nessuna mente individuale potrà mai sconfiggere. Potreste prendere tutti gli esseri umani sulla Terra, senza computer, e lasciarli comunicare e discutere tra loro per settimane; alla fine, probabilmente non sarebbero ancora in grado di giocare collettivamente a scacchi al livello di una singola copia di Stockfish. Gli esseri umani non si aggregano in modo così efficace; la larghezza di banda tra i cervelli è troppo bassa e ci sono troppi pensieri che non si traducono bene in parole. Un miliardo di esseri umani non può semplicemente unirsi in un super-cervello con una potenza di calcolo molto superiore a quella di Stockfish e usarlo per giocare meglio a scacchi. Non esiste una legge dell'informatica che dice che se si divide una quantità fissa di potenza di calcolo in isole più piccole, l'algoritmo risultante diventa sempre più efficace; centomila cervelli di scoiattolo non sono scientificamente all'altezza di un singolo scienziato umano.

Probabilmente nella storia dell'umanità ci sono stati grandi maestri di scacchi più forti di tutti i non maestri del mondo messi insieme.^* Albert Einstein è famoso ancora oggi per aver compiuto un'impresa incredibilmente insolita di deduzione partendo da dati quasi inesistenti nel corso dell'invenzione della relatività generale, molto prima che fosse sperimentalmente ovvio. Forse nemmeno tutto il resto del mondo, messo insieme, sarebbe riuscito a eguagliare Einstein se gli fosse stato chiesto di discutere e valutare la propria teoria migliore sulla gravità.

L’individuo eccezionale può tenere testa al collettivo. Alcuni esseri umani, nel corso della storia, sembrano davvero aver compiuto un lavoro sulla scala dell’intera umanità.

Ma non ci viene davvero in mente nessuno, tra le persone di quel calibro, che ricordiamo per essere stato particolarmente rilassato o tranquillo — soprattutto per quanto riguarda il modo in cui portava avanti il loro grande lavoro. Loro hanno dato tutto, come geni individuali, ed è così che sono riusciti a tenere il passo con l’umanità.

Tra quelli che tengono traccia di queste cose e cercano di classificare ciò che non può essere classificato, è opinione diffusa che l'uomo più intelligente della storia sia stato John von Neumann. Il premio Nobel per la fisica Enrico Fermi disse di lui: "Quell'uomo mi fa sentire come se non sapessi nulla di matematica". Il grande matematico George Pólya disse: "Avevo paura di von Neumann". Diversi personaggi famosi hanno lasciato citazioni sullo stesso tema generale: John von Neumann sta a me come io sto a una persona media. Oltre a diventare un pioniere della fisica quantistica, della teoria dei giochi, dei computer digitali, degli algoritmi, della statistica, dell'economia e, ovviamente, della matematica, John von Neumann lavorò anche al Progetto Manhattan, seguito dalla bomba H. Sfruttò poi questa esperienza per diventare lo scienziato più eminente e fidato del Dipartimento della Difesa degli Stati Uniti, dove von Neumann spinse con forza e successo affinché gli Stati Uniti sviluppassero missili nucleari intercontinentali prima dei sovietici. Per sua stessa ammissione, questo era perché la sua visione del mondo preferiva che gli Stati Uniti trionfassero sul totalitarismo, sia nazista che sovietico.

John von Neumann andava piuttosto forte. Aveva anche una sua visione del mondo e non si limitava a stare al suo posto e servire obbedientemente i mecenati politici. Sì, era un nerd che passava un sacco di tempo a pensare alla matematica, alla scienza e così via, ma non limitava la sua mente a sfere puramente teoriche.

Se le aziende di IA ottenessero un lavoratore IA al livello dei geni sub-Neumann (quei geni che avevano paura di John von Neumann) e altrettanto disposto a servire altri mecenati quanto un matematico geniale relativamente docile, le aziende di IA celebrerebbero qualsiasi traguardo raggiungessero. E poi continuerebbero a spingere oltre.

Le aziende di IA non si accontenterebbero di lavastoviglie robotiche o programmatori informatici robotici, anche se già solo questo farebbe guadagnare molti soldi. Non si accontenterebbero nemmeno di geni medi. Le aziende di IA continueranno a esprimere desideri ai loro geni e a invocare i loro ottimizzatori per avere geni sempre più potenti, ben oltre il punto in cui le AI cominciano a guadagnare facendo quel tipo di lavoro che un genio nerd e tranquillo potrebbe svolgere.

I dirigenti delle aziende di IA dicono di volere colonie su Marte, centrali a fusione e cure per il cancro e l'invecchiamento. Alcuni di loro forse vogliono nominarsi dio-imperatori eterni dell'umanità, anche se è difficile per gli outsider saperlo con certezza. Senza dubbio alcuni dirigenti delle aziende di IA mentono sui loro grandi sogni, cercando di ispirare i dipendenti o fare colpo sugli investitori o mascherarsi da veterano che ci crede davvero. Anche così, resta il fatto che molti dipendenti delle aziende di AI credono davvero in quelle speranze (di questo siamo certi); e i dirigenti non fermeranno quei dipendenti quando, superate le medaglie d’oro, punteranno al platino. Dopotutto, se non lo faranno loro, lo faranno i concorrenti.

Se, in qualche modo, le aziende di IA otterranno un'IA di livello von Neumann che sia ancora obbediente — e che non sia sufficiente per progettare una generazione successiva migliorata di IA e porre fine al mondo immediatamente dopo — allora il passo successivo delle aziende di IA sarà addestrare un modello che pensi meglio e vada più forte di John von Neumann. Se non lo faranno, dopotutto, lo faranno i loro concorrenti.

A un certo punto, la mente prodotta dalla discesa del gradiente smette di essere uno strumento che altre mani possono usare.

Notes