È difficile semplicemente staccare la spina a un data center.

Le intelligenze artificiali più potenti con cui interagite sul tuo telefono o computer non risiedono sul vostro computer e non potete spegnerle semplicemente spegnendo il telefono. Le intelligenze artificiali odierne funzionano in dei data center aziendali ed è difficile convincere le aziende a interrompere le loro fonti di guadagno.

Nel le risorse del Capitolo, abbiamo indicato alcuni dei (molti) segnali di avvertimento che sono già apparsi e scomparsi. Le aziende di IA non hanno notato questi segnali di avvertimento e non hanno reagito mettendo offline i loro modelli. Quello che è successo realmente quando le aziende hanno osservato che le IA avevano intenzione di rubare i loro stessi pesi — con una certaregolarità! — è che hanno trovato motivi per ignorare ogni caso, come "l'IA era troppo incapace per avere davvero successo" o "di sicuro questo è successo solo a causa della configurazione artificiosa del test!" Finché questo rimane vero, l'unica cosa che impedisce la fuga è un aumento delle capacità dell'IA oltre quello per cui le aziende sono preparate.

Un'intelligenza artificiale furba scappa prima che ci si accorga che c'è un problema.

Di default, un'intelligenza artificiale più intelligente dell'uomo avrebbe un forte incentivo a temporeggiare e a nascondere i propri piani e le proprie azioni, fino a quando non fosse troppo tardi per reagire, ad esempio fino a quando non riuscisse a scappare su Internet o comunque a sfuggire al controllo umano.

Le aziende che si occupano di IA potrebbero anche non accorgersi quando la loro IA supera la soglia critica di capacità e scappa. L'umanità non è molto brava nella sicurezza informatica. (Si veda il capitolo 10 per alcune discussioni rilevanti.) Quando gli operatori si accorgono che l'intelligenza artificiale ha cercato di scappare, potrebbe già avere del codice in esecuzione altrove su Internet. Potrebbe già aver trovato rifugio nel data center di qualche stato canaglia o aver capito come fare copie molto più piccole ed efficienti su computer rubati. Potrebbe aver messo in atto qualche altro piano per funzionare su computer che l'umanità non spegnerebbe.

Un avversario superintelligente sarebbe ancora più consapevole delle sue vulnerabilità (e delle nostre) di quanto lo siamo noi, e pianificherebbe di conseguenza.