Neanche la pigrizia è sicura.

È improbabile che le aziende creino IA "pigre", perché l'IA è un settore competitivo e questo non è il modo migliore per generare profitti. Gli utenti non vogliono che l'IA sia pigra nel soddisfare le loro richieste, e l'azienda non vuole che l'IA sia pigra nel massimizzare il coinvolgimento e l'attaccamento degli utenti, o nel pensare meglio e più chiaramente.

Ma anche se le aziende provassero a rendere l'IA robustamente "pigra", possiamo aspettarci che fallirebbero, perché nessuno sa come indirizzare in modo robusto un'IA verso qualsiasi cosa in un modo che possa mantenersi nella transizione verso la superintelligenza, come abbiamo discusso nel Capitolo 4.

Inoltre, la pigrizia robusta sembra un obiettivo particolarmente difficile da raggiungere.

Anche se tutti questi ostacoli fossero superati, tuttavia, l'"IA pigra" non basta da sola a prevenire disastri una volta che le IA raggiungeranno capacità superiori a quelle umane.

Immaginate una persona molto pigra, qualcuno che proprio odia fare anche solo il minimo lavoro in più del necessario. Sembra una persona innocua, giusto?

Ora immaginate cosa succederebbe se questa persona pigra trovasse un modo facile per creare una mente molto più laboriosa a cui esternalizzare tutto il proprio lavoro.

Anche se una superintelligenza pigra non odiasse poi così tanto il lavoro — anche se facesse solo ciò che serve per portare a termine il compito e poi si fermasse, senza sforzarsi di minimizzare il lavoro — probabilmente troverebbe comunque altrettanto facile completare il lavoro costruendo una mente più laboriosa per svolgere il compito, una volta diventata sufficientemente intelligente.

In un contesto tecnico, potremmo esprimere il concetto così: “Le IA che si accontentano non rappresentano un equilibrio stabile.” Anche se l’IA non vuole impegnarsi troppo, non avrebbe scrupoli a creare una nuova IA che invece si impegna. E non le dispiacerebbe nemmeno modificare sé stessa per “curarsi” della propria pigrizia, purché esista un modo abbastanza pigro per farlo.