In condizioni normali, non ci aspettiamo di guadagnare denaro dal libro. Separatamente, ci piacerebbe moltissimo sbagliarci sulla tesi del libro.

Noi (Soares e Yudkowsky) prendiamo lo stipendio dal Machine Intelligence Research Institute (MIRI), che è finanziato dalle donazioni di persone che pensano che questi temi siano importanti. Forse il libro stimolerà le donazioni.

Detto questo, abbiamo altre possibilità di guadagnare e non scriviamo libri per soldi. L'anticipo che abbiamo ricevuto per questo libro è stato interamente utilizzato per la pubblicità del libro stesso, e i diritti d'autore andranno interamente al MIRI per ripagare il tempo e l'impegno investiti dal personale.^*

E, ovviamente, entrambi gli autori sarebbero entusiasti di concludere che la nostra civiltà non è in pericolo. Ci piacerebbe semplicemente andare in pensione o fare soldi altrove.

Non pensiamo che avremmo difficoltà a cambiare idea, se davvero le prove lo giustificassero. È già successo in passato. Il MIRI è stato fondato (con il nome di "Singularity Institute") come progetto per costruire una superintelligenza. Ci è voluto un anno perché Yudkowsky capisse che questo non sarebbe andato automaticamente bene, e un altro paio d'anni perché capisse che farlo andare bene sarebbe stato piuttosto complicato.

Abbiamo già cambiato rotta una volta e saremmo felici di farlo di nuovo. Semplicemente non pensiamo che le prove lo giustifichino.

Non pensiamo che la situazione sia senza speranza, ma ci sembra che ci sia un problema reale e che la minaccia sia estrema se il mondo non si dimostra all'altezza della situazione.

Vale anche la pena sottolineare che, per capire se l'IA sia destinata a ucciderci tutti, bisogna pensare all'IA. Se si pensa solo alle persone, si possono trovare motivi per ignorare qualsiasi fonte: gli accademici sono fuori dal mondo; le aziende cercano di creare clamore mediatico; le organizzazioni no profit vogliono raccogliere fondi; gli hobbisti non sanno di cosa stanno parlando.

Ma se si segue questa strada, le nostre convinzioni finali saranno determinate da chi scegliamo di ignorare, senza lasciare spazio ad argomentazioni e a prove che potrebbero farci cambiare idea se ci sbagliamo. Per capire cosa è vero, non c'è alternativa alla valutazione degli argomenti e alla verifica della loro validità, indipendentemente da chi li ha sollevati.

Il nostro libro non inizia con la facile argomentazione che i dirigenti aziendali che gestiscono i laboratori di IA hanno un incentivo a convincere la popolazione che le IA sono sicure. Inizia discutendo dell'IA. E più avanti nel libro, dedichiamo un po' di tempo a ripercorrere la storia degli scienziati umani che sono stati troppo ottimisti, ma non diciamo mai che dovreste ignorare l'argomentazione di qualcuno perché lavora in un laboratorio di IA. Discutiamo alcuni dei piani reali degli sviluppatori e perché tali piani non funzionerebbero di per sé. Stiamo facendo del nostro meglio per sederci a discutere delle argomentazioni reali, perché sono queste che contano.

Se pensate che ci sbagliamo, vi invitiamo a confrontarvi con le nostre argomentazioni e a indicare i punti specifici in cui pensate che abbiamo sbagliato. Pensiamo che questo sia un modo più affidabile per capire cosa è vero rispetto al considerare principalmente il carattere e le motivazioni delle persone. La persona meno obiettiva del mondo può dire che sta piovendo, ma questo non significa che ci sia il sole.