Probabilmente no.

Almeno alcuni esseri umani (anche se probabilmente non tutti) diventano più gentili man mano che imparano di più, affinano il loro pensiero, riflettono su loro stessi e crescono come persone. Ma, per rivisitare un tema che abbiamo già visto diverse volte a questo punto: questo sembra un fatto contingente su di noi e sulla direzione verso cui stiamo puntando. Non sembra una legge ferrea dell'informatica.

Possiamo distinguere tra le preferenze di primo ordine di un'IA ("Cosa vuole?") e le sue preferenze di secondo ordine ("Cosa vuole volere?"). Proprio come le preferenze di primo ordine di un'IA punteranno in una direzione strana, anche le sue preferenze di secondo ordine punteranno in una direzione strana. Questa potrebbe essere una direzione diversa, tale che, man mano che l'IA diventa più intelligente, sposta leggermente i suoi obiettivi. Ma dovremmo comunque aspettarci che sia una direzione strana, piuttosto che assomigliare a un essere umano in fase di maturazione.

Se in qualche modo l'umanità riuscisse a costruire un'IA con un unico obiettivo prevalente (invece di un gigantesco mix di impulsi strani e talvolta in competizione), e quell'unico obiettivo prevalente fosse costruire minuscoli cubi di titanio, allora man mano che l'IA diventa più intelligente, dovremmo aspettarci che diventi più brava a costruire più minuscoli cubi di titanio.

Non dovremmo aspettarci che improvvisamente sostituisca questo obiettivo con cose che gli esseri umani apprezzano, come il gelato, le amicizie, le battute e la giustizia. Quella sostituzione non produrrebbe più cubi. Se un'IA seleziona le sue azioni in base a "Questo mi porterà più cubi di titanio?", non selezionerà azioni che risultano in una sostituzione.

La regola generale è che man mano che le IA diventano più intelligenti, migliorano nel perseguire ciò che loro vogliono. Si vedano anche le discussioni estese su ortogonalità e auto-modifica.