Siamo ottimisti riguardo a molte cose, ma la superintelligenza non è come la maggior parte delle cose.

Ci consideriamo molto più ottimisti ed entusiasti rispetto alla media delle persone riguardo all'energia nucleare, all'energia geotermica, all'ingegneria genetica, alla neuroingegneria, alle biotecnologie, alle nanotecnologie, allo sviluppo farmaceutico e a molte altre tecnologie.^*

Riteniamo di essere almeno un po' meno preoccupati della maggior parte delle persone riguardo al rischio di una guerra nucleare, agli scenari peggiori del cambiamento climatico e a molti altri potenziali rischi e disastri. Crediamo che l'umanità sia sostanzialmente su una buona traiettoria e che, se eviteremo di autodistruggerci, il futuro sarà probabilmente (anche se non certamente) meraviglioso per tutti, con progressi sociali e tecnologici che renderanno le cose sempre migliori nel tempo.

Siamo anche più ottimisti di molti riguardo alla natura umana. Crediamo nella bontà dell'umanità e nel potenziale di quella bontà di approfondirsi e crescere, se sopravviviamo abbastanza a lungo da diventare più pienamente ciò che desideriamo essere. Per lo più non temiamo che l'umanità finisca in un futuro cupo o distopico, a patto che non creiamo un'IA che ci impedisca del tutto di avere un futuro.

La nostra preoccupazione per l'IA più intelligente dell'uomo non deriva da cinismo o pessimismo generico. L'IA più intelligente dell'uomo è diversa dalle altre tecnologie che l'hanno preceduta.

Le altre tecnologie non pensano da sole, non pianificano modi per fuggire, né costruiscono tecnologie ancora più potenti. L'IA più intelligente dell'uomo è un caso speciale.

Riteniamo che le nostre preoccupazioni sull'IA si estendano a pochissime altre cose, perché pochissime cose sono anche lontanamente così pericolose.

E anche nel caso della superintelligenza, che pone una minaccia straordinariamente grande e una sfida enorme per la comunità internazionale, pensiamo che ci sia speranza per un futuro positivo. Crediamo che l'umanità abbia la capacità di frenare lo sviluppo dell'IA, e che questo potrebbe bastare per metterci su una traiettoria positiva. Pensiamo persino che (con molto più tempo) l'umanità potrebbe mettersi in una buona posizione per costruire la superintelligenza in modo sicuro.

Ma per arrivarci, dobbiamo prima affrontare la realtà della situazione.

Il punto sono le argomentazioni, non le storie allarmistiche.

Abbiamo fornito una lunga lista di modi in cui, ad esempio, "il fatto che la superintelligenza sia affascinata dagli esseri umani" probabilmente finirebbe male nella realtà. Leggendo una lista del genere, immaginiamo che alcuni lettori potrebbero avere una reazione come:

Gli ottimisti dell'IA hanno tutte queste storie che sembrano piene di speranza. Voi avete tutte queste storie che sembrano spaventose. Tutti però riconoscono che il futuro è difficile da prevedere. Quindi, sentendo tutte queste storie, mi sembra che dovrei considerare una probabilità media di catastrofe dell'IA, non una probabilità estrema in nessuna delle due direzioni.

Ma voi non dite: "Ci sono storie spaventose e ci sono anche storie piene di speranza, quindi non possiamo essere sicuri di cosa succederà e dovremmo vietare la superintelligenza solo per stare sul sicuro". Voi dite che le storie piene di speranza sono scelte apposta e improbabili, e che le vostre storie dovrebbero avere più peso. Perché?

La risposta breve è: non si possono fare buone previsioni sul futuro semplicemente contando tutte le storie cupe e tutte le storie felici e pesandole come biglie su una bilancia. A volte può essere utile riflettere su diversi scenari, ma non proprio in questo modo.^†

Per illustrare il punto generale: immaginate che qualcuno dica: "Tra duecento anni ci saranno esattamente otto balene al mondo, e saranno tutte viola".

Gli umani hanno una fantasia sfrenata. Qualcuno potrebbe riempire un libro con centinaia di storie su come sia successo che la popolazione di balene si sia ridotta a esattamente otto esemplari, tutti viola. Qualcun altro potrebbe riempire un libro con centinaia di storie in cui non ci sono esattamente otto balene. Non è possibile fare previsioni accurate dicendo: "Beh, entrambe le parti hanno storie plausibili, quindi sicuramente la verità sta nel mezzo".

Per capire quale sia la verità, bisogna esaminare le argomentazioni effettive. Nel caso delle balene viola, l'argomentazione è essenzialmente che il risultato è troppo ristretto e specifico, e non sarà raggiunto a meno che le forze dominanti che guidano il mondo non stiano cercando di ottenerlo. Possiamo dire più o meno lo stesso riguardo all'IA superintelligente che produce risultati positivi e compatibili con l'uomo.

Chi avesse il compito di sfatare una per una le storie delle "otto balene viola" finirebbe intrappolato in un ciclo piuttosto ripetitivo, dicendo: "No, è troppo specifico; ci sono molti altri modi in cui il futuro potrebbe andare che non porterebbero esattamente lì; immaginare che vada esattamente così è una speranza illusoria".

Questo è più o meno il ruolo in cui noi autori ci troviamo riguardo alla situazione dell'IA: gli esseri umani possono raccontare ogni tipo di storia in cui tutto va bene, ma alla fine tutte queste storie implicano immaginare che il futuro segua un unico percorso ristretto, quando in realtà ci sono molti altri modi in cui il futuro potrebbe andare. Ecco perché continuiamo a ripetere che gli esseri umani non sono la soluzione più efficiente a quasi nessun problema e che le IA non si preoccuperanno di noi nemmeno un po'.

Prima che sia troppo tardi non si limita a snocciolare una serie di storie cupe per poi concludere che l'IA è pericolosa. Nel libro esponiamo un'argomentazione che, per certi versi, è piuttosto semplice: i ricercatori stanno cercando di costruire IA molto più intelligenti di qualsiasi essere umano. A un certo punto, probabilmente ci riusciranno. I metodi attuali danno agli esseri umani pochissima possibilità di scegliere verso quale tipo di futuro le IA si dirigeranno. Ci sono molte direzioni diverse che potrebbero prendere, e la maggior parte di esse non è positiva.

Il motivo per cui elenchiamo tutte le controargomentazioni non è quello di sopraffarvi con il pessimismo (se siete il tipo di persona che legge le risorse online dall'inizio alla fine). È che in realtà ci vengono poste continuamente tutte queste diverse domande, ed è utile avere un archivio di risposte da qualche parte. Non è necessario leggerle tutte. Le risposte comunque si ripetono.

Ciò che conta sono le argomentazioni in sé, non la propensione di qualcuno verso l'ottimismo o il pessimismo, e non il numero di storie che qualcuno può snocciolare.