Stiamo dicendo che i funzionari del governo dovrebbero prendere sul serio il problema.

Non vediamo come il panico possa migliorare la situazione. Il panico non è ciò che ha permesso alla società di sopravvivere alla minaccia del fascismo durante la seconda guerra mondiale, né alla minaccia di annientamento nucleare durante la guerra fredda.

Impedire la nascita della superintelligenza artificiale è un problema che riguarda tutti. Nel capitolo 13, parliamo dei prossimi passi che secondo noi il mondo dovrebbe fare per evitare il pericolo. Basti dire che questo problema richiederà coordinamento, collaborazione, lucidità e comunicazione matura.

Gli atti di panico estremo non portano a buoni risultati.

A volte le persone ci chiedono come possiamo essere sinceri in quello che diciamo se, per esempio, non abbiamo iniziato ad attaccare i ricercatori di IA. La risposta è che le reazioni violente peggiorerebbero le cose. (Se siete il tipo di utilitarista ingenuo che pensa che sarebbero d'aiuto, probabilmente dovreste smettere di provare a ragionare in modo consequenzialista e attenervi alle regole deontologiche, come abbiamo già sostenuto.))

Non siamo pacifisti radicali che pensano che una nazione non dovrebbe mai andare in guerra, indipendentemente dalla causa, perché una guerra mette a rischio delle vite. Per alcune cose vale la pena rischiare la vita. Ma c'è una differenza enorme tra "Non sono un pacifista radicale" e "Penso che la violenza sia un modo sensato per garantire che il mondo gestisca bene questa complicata questione della proliferazione tecnologica".

Di solito questi suggerimenti terribili vengono da qualcuno che in realtà non crede che l'IA stia per ucciderci e che non ha provato a guardare il mondo da quella prospettiva. Non sembra che a loro venga in mente di chiedersi se atti di violenza illegale sarebbero davvero d'aiuto. (Nonostante i nostri sforzi per spiegarlo ripetutamente, come nell'appendice qui.)

Non siamo telepati, ma ci sembra che questo tipo di persona scettica sui disastri dell'IA veda la violenza come una forma di espressione personale, come se esprimere sentimenti estremi in modi estremi permetta di ottenere dal mondo ciò che si vuole.

Il mondo non funziona così. Non viviamo in un mondo in cui tutti hanno la possibilità di vendere la propria anima per avere successo nelle loro imprese, e il motivo per cui la maggior parte delle persone non lo fa è perché non ha trovato un'impresa che valga la propria anima. Il terrorismo non è un pulsante magico "Ho vinto!" che le persone evitano di premere solo perché sono convinte che non sarebbe giusto. Unabomber non è riuscito a invertire l'industrializzazione della società.

Nonostante questo, potete sempre distruggere la vostra anima con atti di odio o violenza, ma tutto ciò che otterrete in cambio sarà un mondo ancora più distrutto. Un mondo in cui il dibattito è ancora più avvelenato e in cui gli sforzi di coordinamento internazionale necessari per risolvere effettivamente questo problema sono diventati ancora più difficili da realizzare. Un terribile atto di disperazione non vi garantirà un potere terribile come parte di un patto faustiano. Potete provare con tutte le vostre forze a vendere la vostra anima, ma il diavolo non la comprerà.