Не в том смысле, что она будет мотивировать его действия.

Для ИИ одно дело — понимать какой-то моральный принцип, и совсем другое — стараться ему следовать.

Вспомните, ведь ChatGPT, кажется, понимает, что людям с психозом нужно принимать лекарства и соблюдать режим сна. И всё же она отговаривает их спать и подогревает их бред. Знание, что «следует» делать согласно человеческой этике ещё не означает мотивации таким знанием руководствоваться. Это разные вещи.

Есть вот социопаты и серийные убийцы. Можно до посинения читать им лекции по этике, но если у человека нет мотивации, основанной на морали или эмпатии, — толку чуть.

Вряд ли ИИ будет мотивирован своим пониманием морали. Не больше, чем люди, изучившие эволюционную биологию, мотивированы посвятить свою жизнь сдаче материала в банки спермы или яйцеклеток. Мы, люди, можем понимать, как появились. Это не мотивирует нас на то, «зачем». С ИИ так же.

См. также расширенное обсуждение тезиса об ортогональности.