Perché non abbiamo le competenze tecniche per svilupparla in modo sicuro.

Abbiamo accennato a questo nel libro, dove facevamo notare che una collaborazione internazionale richiede comunque un divieto internazionale da qualsiasi altra parte (perché, altrimenti, i collaboratori internazionali non avrebbero il tempo necessario). Se supponiamo che la Terra istituisca un divieto internazionale, qual è il problema nell'avere un unico istituto di ricerca collaborativo e unificato?

Il problema è che una collaborazione internazionale di alchimisti non può trasformare il piombo in oro più di quanto non possa farlo un singolo alchimista. Il miglior piano su cui tutti gli alchimisti concordano non riuscirà comunque nell'impresa.

Collegato a questo, siamo preoccupati che le persone che gestiscono un istituto internazionale del genere siano il tipo di burocrati che pensano che approvare la ricerca sia parte del loro lavoro. O il tipo che pensano che sia loro mandato continuare a permettere ai ricercatori di produrre progressi medici sempre più brillanti. O che pensano che farebbe una brutta impressione dire "No" a tutti i brillanti e entusiasti ottimisti dell'IA che propongono idee geniali per costruire un'intelligenza artificiale ancora più potente che garantiscono sarà sicura.

Temiamo che un leader di quel tipo finirebbe per dirigere il centro internazionale verso la costruzione di IA sempre più intelligenti, e poi tutti morirebbero.

Anche se il mandato ufficiale dell'organizzazione prevedesse in linea teorica la possibilità di fare marcia indietro se la ricerca appare pericolosa, ci vorrebbe un'anima rara e coraggiosa per dire "No" a migliaia di proposte di ricerca diverse, anno dopo anno, senza eccezioni, per quelli che probabilmente sarebbero decenni. Tutto questo mentre gli scienziati dell'IA continuano a promettere ricchezze indicibili, una cura per il cancro e ogni sorta di miracolo tecnologico, se solo l'organizzazione allentasse le sue preoccupazioni.

Abbiamo investito le nostre vite nello studio dell'intelligenza artificiale, non nella cultura delle istituzioni e delle burocrazie, quindi siamo meno sicuri delle nostre previsioni in questo ambito. Tuttavia, abbiamo letto libri di storia.

Gli operatori di Chernobyl continuarono con il loro disastroso test di sicurezza perché era già stato arrestato tre volte. Arrestarlo una quarta volta sarebbe stato imbarazzante.

Appena tre mesi prima della fusione di Chernobyl, la NASA aveva lanciato lo Space Shuttle Challenger nel suo ultimo volo mortale, perché chi era ai vertici pensava che il proprio compito fosse far decollare navette spaziali. Il lancio era già stato rimandato tre volte. Annullarlo una quarta volta sarebbe stato imbarazzante.

Tra Chernobyl e il Challenger, tre ritardi sembrano essere il limite umano. Supponiamo che la Terra istituisca una collaborazione internazionale sull'IA e che qualche "test di sicurezza dell'IA" fallisca tre volte. Realisticamente, gli esseri umani sono il tipo di creature che premerebbero "vai" la quarta volta nonostante qualche dubbio persistente, perché sembra meno imbarazzante che rimandare di nuovo il test. Solo che nel caso dell'IA, non spazzerebbe via solo la città di Chernobyl o non ucciderebbe solo un equipaggio di astronauti. Ucciderebbe tutti.

Siamo pienamente d'accordo con l'idea che l'umanità dovrebbe costruire un'IA più intelligente dell'uomo prima o poi.^* Ma affrettarsi ad assemblare un centro internazionale di ricerca sull'IA non prende sul serio la sfida tecnica che abbiamo davanti.

Dato il deplorevole stato di conoscenza e competenza dell'umanità su questo argomento, non importa chi è al comando. Se qualcuno la costruisce, muoiono tutti.

Notes