I governi hanno già il potere di vietare le tecnologie pericolose.

Vietare la ricerca sull'intelligenza artificiale che punta a creare un'IA più intelligente dell'uomo non cambierebbe molto in termini di potere dello Stato. I governi legiferano e regolamentano un'enormità di cose. Limitare un singolo programma di ricerca potrebbe essere un grosso problema per l'industria dell'IA, ma è una goccia nell'oceano per i governi e la società, che sono abituati al coinvolgimento dello Stato in molti aspetti della vita e che hanno già vietato tecnologie pericolose come le armi chimiche.^*

Vietare un'altra tecnologia non farà precipitare il mondo nel totalitarismo, così come i trattati sulle armi nucleari non hanno portato al totalitarismo.

Con questo non vogliamo dire che vietare una tecnologia non sia importante. Non pensiamo che l'asticella per l'intervento dello Stato debba essere bassa. Al contrario, pensiamo che la superintelligenza superi facilmente qualsiasi asticella ragionevole.

Se l'umanità decidesse oggi di fermare la ricerca e lo sviluppo dell'IA, il divieto non dovrebbe essere particolarmente invasivo. Oggi, creare un'IA all'avanguardia richiede un numero straordinario di chip per computer altamente specializzati che consumano enormi quantità di energia elettrica.

Forse tra dieci anni sarà possibile fare sviluppo di IA significativo su un laptop di consumo, se l'umanità permetterà ulteriori miglioramenti ai chip per computer e ulteriori ricerche sugli algoritmi di intelligenza artificiale. Ma l'umanità non ha bisogno di permettere che questo accada. I governi che limitano la ricerca e lo sviluppo dell'IA non devono essere più invasivi nella vita della persona media rispetto ai governi che controllano la diffusione della tecnologia delle armi nucleari — a patto che il mondo si renda conto della situazione in cui ci troviamo e fermi tutto adesso.