Le IA non funzioneranno con un senso di novità umano.

Un'obiezione comune che sentiamo è: supponiamo che un'IA stia solo cercando di creare quanti più cubetti di titanio possibile. Alla fine l'IA non si annoierebbe?

E la risposta breve è: l'IA non è un essere umano. Di default, non proverà "noia"; avrà il suo strano mix di motivazioni. E se provasse noia, non si annoierebbe per le stesse cose di un essere umano.

Preoccuparsi di divertirsi non è una proprietà intrinseca di tutte le menti possibili ed è estremamente improbabile che sia così che funziona l'IA. I valori umani sono un fatto contingente della nostra biologia e della nostra storia evolutiva e il "divertimento" non fa eccezione.

Le azioni dell'IA non sono risposte sbagliate alla domanda su come divertirsi; le azioni dell'IA sono semplicemente guidate da meccanismi non umani, da domande che non fanno riferimento al "divertimento". Si veda anche la discussione approfondita sulla riflessione.