Разве он не поймёт, что его цели скучны?
ИИ не будет руководствоваться человеческим чувством интересности.
Нам часто возражают: предположим, ИИ просто пытается сделать как можно больше крошечных титановых кубиков. Разве ему в конце концов не станет скучно?
Короткий ответ: ИИ — не человек. По умолчанию он не будет испытывать «скуку». У него будет своя странная смесь побуждений. Если бы ему и стало скучно, то по совсем другим причинам, чем человеку.
Желание веселиться — не неотъемлемое свойство любого возможного разума. Крайне маловероятно, что ИИ будет устроен так. Человеческие ценности обусловлены нашей биологией и нашим происхождением. «Веселье» — не исключение.
Странные действия ИИ — не ложные ответы на вопрос «как не скучать?». Они просто вызваны нечеловеческими механизмами, в которых «скуке» нет места. См. также расширенное обсуждение рефлексии.