No.

Non stiamo sostenendo che l'umanità debba aspettare una dimostrazione nel senso letterale del termine che una qualche superintelligenza artificiale sarà buona, o qualcosa del genere. Una dimostrazione del genere probabilmente non è possibile nemmeno in linea di principio, figuriamoci nella pratica. Come disse Einstein nella sua conferenza del 1921, Geometria ed esperienza: "Nella misura in cui le leggi della matematica si riferiscono alla realtà, non sono certe; e nella misura in cui sono certe, non si riferiscono alla realtà".

Qualsiasi presunta dimostrazione su come si comporterà un'IA nel mondo reale non garantisce il comportamento effettivo dell'IA, perché potremmo sbagliarci su come funziona il mondo reale.

Questo vale già oggi per i computer. Ad esempio, si potrebbe pensare che se qualcuno ha una dimostrazione matematica in senso letterale che, secondo il comportamento teorico dei transistor e lo schema circuitale di un computer, è impossibile che un programma per computer modifichi la memoria nella cella n. 2, allora il programma per computer non può modificare la memoria nella cella n. 2. Ma l'"attacco rowhammer" consiste nel cambiare rapidamente le celle di memoria n°1 e n°3 su entrambi i lati della cella di memoria protetta, in un modo che risulta perturbare elettromagneticamente la cella n°2 nel mezzo, cambiando una parte della memoria del computer senza mai scriverci direttamente. I transistor fisici reali non sono transistor matematicamente perfetti, e le dimostrazioni che sembrano rassicuranti in teoria non sempre contano molto nella pratica.

Non stiamo chiedendo una dimostrazione matematica che le cose andranno bene. Non è possibile soddisfare uno standard del genere nella realtà e, anche se lo fosse, probabilmente non ne varrebbe la pena. Siamo favorevoli al fatto che la società si assuma rischi giustificati. L'argomentazione che stiamo sostenendo non è che ci sia una piccola quantità di rischio difficile da eliminare, ma che ci sia un pericolo estremo che incombe su di noi.

Fare crescere una superintelligenza artificiale animata da spinte che si allineano solo marginale con le intenzioni del suo operatore è il tipo di impresa che va male di default. Non è che ci sia una piccola possibilità che le cose vadano male, ma dovremmo prestare attenzione a questo rischio per eccesso di cautela. Il libro non si intitola Prima che ci sia una piccola possibilità che sia troppo tardi, e tale possibilità merita di essere mitigata. Se ci precipitiamo avanti con questo livello di conoscenza e capacità, prevedibilmente moriremo tutti, perché siamo così lontani dall'essere in grado di creare IA enormemente superumane che siano amichevoli.

Se l'IA fosse analoga alle automobili, non diremmo: "Questa macchina ha cinture di sicurezza e airbag difettosi. Accostiamo per prudenza".

Diremmo: "Questa macchina sta sbandando verso un precipizio. Fermatevi".

Non si tratta di "dimostrazioni di sicurezza". Non è un "rischio di coda". Gli scienziati non sono pronti ad affrontare questa sfida. Moriremmo e basta.