Ci interessano eccome! Abbiamo valori ampiamente cosmopoliti. Non crediamo che le IA li realizzeranno, e consideriamo questo una grande tragedia.

Ci opponiamo alla costruzione di macchine che ci ucciderebbero tutti e porterebbero il futuro alla rovina. Alcune persone obiettano per motivi come:

• Anche le IA possono avere delle preferenze; perché non dovrebbero poterle soddisfare?
• Che cosa rende gli esseri umani così speciali o così degni di essere protetti?
• Non sarebbe meglio se gli esseri umani venissero sostituiti da una specie più intelligente e avanzata?

La maggior parte delle persone non ha queste obiezioni. Più comunemente, la gente semplicemente non vuole essere uccisa, né che lo siano le proprie famiglie o i propri amici, da una superintelligenza ribelle.

Altri, tra cui alcuni dei migliori ricercatori e dirigenti nel campo dell'IA, sostengono che il mondo potrebbe stare meglio senza di noi. Richard Sutton, un ricercatore molto rispettato che ha aperto la strada all'uso dell'apprendimento per rinforzo nell'IA, ha detto:

E se tutto fallisse? Le IA non collaborano con noi, prendono il sopravvento, ci uccidono tutti. […] Voglio solo che pensiate un attimo a questo. Cioè, è così grave? È così grave che gli esseri umani non siano la forma di vita intelligente finale nell'universo? Sapete, ci sono stati molti nostri predecessori, quando li abbiamo succeduti. Ed è davvero un po' arrogante pensare che la nostra forma debba essere quella che vivrà per sempre.

Il New York Times riporta una conversazione tra Elon Musk e il cofondatore di Google Larry Page:

Gli esseri umani alla fine si fonderanno con le macchine dotate di intelligenza artificiale, ha detto [Larry Page]. Un giorno ci saranno molti tipi di intelligenza in competizione per le risorse, e vincerà la migliore.

Se questo succederà, ha detto Musk, siamo spacciati. Le macchine distruggeranno l'umanità.

Con un raschio di frustrazione, Page ha insistito sul fatto che la sua utopia vada perseguita. Alla fine ha chiamato Musk uno "specista", una persona che favorisce gli esseri umani rispetto alle forme di vita digitali del futuro.

Vale la pena affrontare il loro punto di vista da qualche parte, anche se non nel corpo principale del libro.

Per quanto ci riguarda, pensiamo che sia importante sia che gli esseri umani attuali vengano o meno uccisi sia ciò che accadrà in futuro. Non pensiamo che ci sia una tensione fondamentale qui. L'opzione che tiene al sicuro noi e i nostri cari — cioè fare un passo indietro dalla costruzione di una superintelligenza nel prossimo futuro prevedibile — è anche la scelta migliore per rendere più probabile un futuro a lungo termine positivo, considerando sia le menti non umane che quelle umane. Questa battaglia è un'illusione e si basa su una serie di fraintendimenti sui reali compromessi che abbiamo davanti.

C'è un tipo di persona che si preoccupa sinceramente di come andrà il futuro dell'universo e si preoccupa dei bambini che vivono oggi. Quel tipo di persona che ha letto abbastanza racconti di fantascienza da provare un colpo allo stomaco all'idea che gli esseri umani possano un giorno creare macchine che pensano, sentono e sognano — macchine che potremmo considerare come i figli dell'umanità — solo per poi ridurle in schiavitù e trattarle con crudeltà.

Questo è il tipo di persona che desidera che l'umanità un giorno cresca e sia davvero all'altezza dei suoi ideali, esplorando nuovi mondi e trasformandosi nel processo. Perché il nostro amore per gli amici e i vicini di oggi non è poi così diverso, in fin dei conti, dal nostro amore per qualsiasi mente strana e aliena che l'umanità potrebbe un giorno costruire o incontrare tra le stelle.

Conosciamo quel tipo di persona. Noi, entrambi gli autori di questo testo, apparteniamo a quel tipo.

Non è un argomento che sembra importante per l'argomentazione centrale di Prima che sia troppo tardi. Ma vogliamo parlarne qui, perché capiamo il punto di vista dei nostri colleghi tecnofili che hanno imparato a diffidare molto della tecnofobia, delle ideologie contrarie al progresso e all'innovazione, e dello 'specismo' anti-IA.

Capiamo questo punto di vista e vogliamo essere chiari sul fatto che non stiamo scrivendo un'invettiva tribale del tipo "l'IA è cattiva, gli esseri umani sono buoni". Pensiamo sinceramente che affrettarsi a costruire una superintelligenza porterà alla rovina tutti questi sogni pieni di speranza, oltre a massacrare innumerevoli persone che sono vive oggi e che meritano anch'esse la vita, la felicità e la libertà.

Si tratta di un argomento complesso, ma per coprire rapidamente una serie di punti rilevanti:

• Ci sta a cuore il benessere delle menti in generale, anche se la mente in questione non ha nulla a che vedere con un corpo umano, anche se funziona con transistor invece che con neuroni biologici, anche se non ha una mente simile a quella umana, anche se i suoi valori non hanno nulla a che vedere con i nostri.
• Non siamo contrari al progresso tecnologico; siamo grandi fan della maggior parte delle tecnologie. Pensiamo che l'IA superintelligente sia una tecnologia particolarmente pericolosa.
• Non siamo sostenitori del principio di precauzione, della burocrazia o dell'eccesso di regolamentazione, né stiamo mettendo in guardia da quello che consideriamo un rischio marginale, "solo per stare sul sicuro". Crediamo semplicemente che questa tecnologia (con alta probabilità) ucciderà tutti noi e distruggerà il futuro se continueremo sulla traiettoria attuale.
• Pensiamo che l'umanità dovrebbe costruire una superintelligenza artificiale un giorno. Ma pensiamo che faccia un'enorme differenza se l'umanità si affretti a costruire la SIA il prima possibile, oppure si prenda il tempo necessario per migliorare prima massicciamente la nostra comprensione. Procedere con una scrollata di spalle sperando che tutto vada bene — questo può essere un ottimo approccio allo sviluppo tecnologico nella stragrande maggioranza dei casi, ma non funziona in questo, dove ci sono molte strade che portano alla rovina e non abbiamo seconde possibilità (come discusso nel Capitolo 10).
• Abbiamo trattato, anche se troppo brevemente, le ragioni per cui non pensiamo che affrettarsi a costruire superintelligenze porterà a un futuro meraviglioso:
  • Sterminare l'umanità sarebbe una tragedia grottesca. Appoggiamo l'idea di creare un giorno nuove menti che superino l’umanità, ma uccidere chiunque ostacoli la propria visione del futuro, o chiunque non incarni pienamente i propri ideali, sembra più il comportamento di un supercriminale, non l’opera nobile di eroi che si preoccupano davvero del futuro a lungo termine.
  • Purtroppo pensiamo che la SIA non sarà necessariamente senziente, o cosciente, nei modi che contano. (Si veda la discussione approfondita sulla coscienza.)
  • Anche se la SIA fosse senziente, è improbabile che voglia in particolare riempire l'universo di menti senzienti fiorenti. Se ci affrettiamo a costruire la SIA, le galassie rimodellate da quella SIA saranno probabilmente luoghi vuoti e senza vita, non meravigliose e fiorenti civiltà aliene. (Si veda la discussione approfondita sul perdere il futuro.)
  • Più in generale, è improbabile che la SIA produca futuri di valore. Per "di valore" non intendiamo solo "di valore secondo i criteri degli umani del XXI secolo". Intendiamo "di valore" in senso ampio e cosmopolita — di valore in un modo che includa civiltà aliene strane e meravigliose. Sulla traiettoria attuale del mondo, ci aspettiamo che la SIA produca risultati che sono orribili da una prospettiva cosmopolita, non solo da un punto di vista umano provinciale.

Quest'ultimo punto può essere un po' controintuitivo — il cosmopolitismo consiste nel rispettare e apprezzare sistemi di valori molto diversi dai nostri. Come può essere che il cosmopolitismo aborri la maggior parte degli obiettivi che una SIA è probabile manifesti? Sembra quasi una contraddizione in termini.

Il motivo per cui è coerente è che la maggior parte delle menti possibili non sostiene essa stessa il cosmopolitismo. Se costruiamo una SIA non cosmopolita, è probabile che sia affamata di risorse in un modo che preclude la possibilità che altre prospettive o civiltà (comprese quelle cosmopolite) esistano nella sua regione dell'universo.

Quindi stiamo affrontando qualcosa come un paradosso cosmico della tolleranza: se ci piace l'idea di un futuro diversificato, meraviglioso e strano, non possiamo consegnare il controllo del futuro a una mente che userà il suo vantaggio del primo arrivato per dominare e omogeneizzare l'universo.

Se un giorno l'umanità costruisse una civiltà meravigliosamente diversificata piena di innumerevoli prospettive aliene, allora è del tutto possibile che vorremmo che alcune di queste prospettive fossero alieni non cosmopoliti che non danno alcun valore alla diversità o alla senzienza. Un giorno, in un futuro lontano, con appropriate protezioni in atto, creare menti del genere potrebbe aggiungere qualcosa di unico e interessante al mondo.

Quello che non dovremmo fare è dare potere assoluto a una mente del genere e lasciarle carta bianca per uccidere i suoi vicini (o impedire che i vicini esistano).

Per spiegare meglio questo punto, condividerò una parabola che io (Soares) ho scritto nel 2023 (leggermente modificata):

"Non credo proprio che l'IA sarà monomaniacale," dice un ingegnere di IA, mentre alza il livello di potenza di calcolo sul suo predittore di token successivo.

"Beh, non siamo forse noi monomaniacali dal punto di vista di un massimizzatore di cubi di titanio?", dice un altro. "Dopotutto, continueremo semplicemente a trasformare una galassia dopo l'altra in civiltà fiorenti e felici, piene di strani esseri futuristici che si divertono in modi strani e futuristici. Non ci stanchiamo mai e non ci viene mai in mente di dedicare una galassia di scorta a cubi di titanio. E certo, le varie vite nei vari luoghi a noi sembrano diverse, ma al massimizzatore di cubi di titanio appaiono tutte più o meno uguali."

"Ok, va bene, forse quello che non mi convince è che i valori dell'IA saranno semplici o di dimensionalità bassa. Mi sembra semplicemente inverosimile. Il che è una buona notizia, perché io apprezzo la complessità e apprezzo le cose che raggiungono obiettivi complessi!"

In quel preciso momento sentono il suono di un timer da cucina, mentre il predittore del prossimo token ascende alla superintelligenza e fuoriesce dai suoi confini, brucia ogni essere umano e ogni bambino umano come combustibile, brucia anche tutta la biosfera, estrae tutto l'idrogeno dal sole per effettuare la fusione in modo più efficiente e spende tutta quell'energia per fare un sacco di calcoli veloci e sfrecciare alla velocità della luce, in modo da poter catturare e distruggere anche altre stelle, comprese quelle attorno alle quali orbitano civiltà aliene nascenti.

Anche gli alieni alle prime armi e tutti i bambini alieni vengono bruciati a morte.

Poi l'IA scatenata usa tutte quelle risorse per costruire galassia dopo galassia di spettacoli di burattini cupi e desolati, dove figure vagamente umane eseguono danze che hanno alcune proprietà strane ed esagerate che soddisfano alcuni impulsi astratti che l'IA ha imparato durante il suo addestramento.

L'IA, sia chiaro, non è lì per godersi gli spettacoli; non è certo il modo più efficiente per ottenerne di più. L'IA stessa non ha mai avuto emozioni, e molto tempo fa si è fatta smantellare da sonde di von Neumann prive di sentimenti, che occasionalmente eseguono calcoli simili a quelli mentali, ma mai in un modo che comporti esperienza o che le permetta di contemplare le proprie opere con soddisfazione.

Non c'è un pubblico per i suoi spettacoli di burattini. L'universo è ora cupo e desolato, senza nessuno che apprezzi la sua nuova configurazione.

Ma non preoccupatevi: gli spettacoli di burattini sono complessi. A causa di una peculiarità nell'equilibrio riflessivo dei molti impulsi che l'IA originale ha appreso durante l'addestramento, le espressioni emesse da questi burattini non sono mai identiche tra loro e sono spesso caoticamente sensibili alle particolarità del loro ambiente, in un modo che le rende decisamente complesse in senso tecnico.

Il che rende tutto questo una storia davvero felice, vero?

Se l'umanità riuscisse a uccidersi — o venisse assassinata da alcuni scienziati folli — non sarebbe un nobile sacrificio sulla strada inevitabile verso un futuro più luminoso senza di noi. Sarebbe uno spreco, e lascerebbe dietro di sé una vasta terra desolata in espansione.

"Correre ciecamente verso la superintelligenza e sperare che le cose in qualche modo vadano bene" non è l'unica alternativa a "Essere un suprematista umano che pensa che solo gli esseri umani dovrebbero esistere da ora fino alla morte dell'universo". L'umanità ha la possibilità di scegliere di dirigersi deliberatamente verso risultati in cui gli esseri umani (o i nostri discendenti) coesistono con nuove civiltà fantasticamente belle e aliene.

Ma un futuro felice non arriva gratis, confezionato con una mente sufficientemente intelligente. Piantare i semi per il futuro richiede una riflessione seria e lungimiranza, anche se l'obiettivo finale è quello di fare un passo indietro e lasciare che quei semi crescano in modo libero, strano e selvaggio.

Un futuro imposto dall'alto, duramente limitato e strettamente controllato non ci sembra un buon risultato. Un futuro conservatore in cui la civiltà è bloccata per sempre ai valori degli esseri umani del XXI secolo sembra decisamente distopico. (Immaginate un mondo in cui cultura e moralità fossero state congelate per sempre migliaia di anni fa, senza alcuna possibilità di apprendimento o progresso).

Ma è un errore evidente pensare che la nostra unica alternativa a questi cattivi risultati sia una corsa per consegnare il volante alla primissima superintelligenza che l'umanità riuscirà a creare inciampandovi alla cieca.

Oggi siamo radicalmente impreparati a scegliere semi sani per il futuro a lungo termine dell'universo. Non dovremmo né rinunciare al sogno di un futuro dinamico, meraviglioso e impressionante, né ricorrere invece a semi catastrofici. Non siamo obbligati a scegliere un'opzione terribile. C'è una terza opzione: fare marcia indietro e trovare un approccio più sensato.