Ma che dire dei benefici di un'IA più intelligente dell'uomo?
L'andare avanti di fretta distrugge questi benefici.
Siamo ottimisti su quanto potrebbe essere fantastica la superintelligenza, se guidasse il mondo verso risultati incredibili. Personalmente considereremmo una grande tragedia se l'umanità non creasse mai menti più intelligenti di quelle umane.
Ma l'allineamento della superintelligenza non è gratis. Se ci affrettiamo a cercare di raccogliere quei benefici, non otterremo nulla, anzi, peggio del nulla.
Io (Yudkowsky) sono stato per diversi anni un accelerazionista che sperava di creare l'IA il più velocemente possibile, prima di riconoscere che l'allineamento dell'IA non viene gratis. Entrambi noi autori sogniamo fantastici futuri transumanisti. Ma non ci arriveremo correndo avanti con la superintelligenza.
La scelta non è tra scommettere sui benefici dell'IA adesso (per quanto piccola sia la possibilità) e non avere mai accesso a quei benefici. La vera scelta è tra correre avanti sconsideratamente e uccidere tutti, oppure prendersi il tempo necessario per fare il lavoro correttamente.*
"Ora o mai più" è una falsa dicotomia.
*Alcunepersonesostengono che dobbiamo correre il rischio adesso, per provare a salvare gli umani dal morire di morte naturale dovuta all'invecchiamento. Il corpo umano è incredibilmente complesso, ma con sufficienti progressi scientifici potremmo risolvere molte delle malattie che oggi diamo per scontate, come il cancro, le malattie cardiache e le varie malattie legate all'invecchiamento. Un'intelligenza artificiale più intelligente dell'uomo potrebbe portarci a questo risultato molto più rapidamente. Ritardare lo sviluppo della superintelligenza costa letteralmente delle vite.