Вероятно, нет.

По крайней мере, некоторые (хотя, вероятно, не все) люди становятся добрее, когда больше узнают, оттачивают своё мышление, размышляют о себе и растут как личности. Но вернёмся к уже знакомой нам теме: это обусловлено тем, кто мы есть и какие у нас цели. Это не железное правило информатики.

Можно различать у ИИ предпочтения первого («Чего он хочет?») и второго порядка («Чего он хочет хотеть?»). И те, и другие будут странными. Возможно, по-разному. В этом случае, по мере того, как ИИ будет умнеть, его цели немного сместятся. Но всё равно стоит ожидать, что это будет какая-то причудливая траектория. Она не будет похожа на взросление человека.

Представим себе ИИ с одной-единственной всепоглощающей целью (а не с гигантской смесью странных и порой конкурирующих побуждений). Пусть эта цель — делать крошечные титановые кубики. Тогда, становясь умнее, он будет делать их всё лучше и лучше.

Не стоит ожидать, что он внезапно променяет эту цель на то, что ценят люди: дружбу, шутки, справедливость и мороженое. Такое изменение не поможет сделать больше кубиков. Если ИИ отбирает действия по принципу «Поможет ли это мне сделать больше титановых кубиков?», он не выберет путь, меняющий эту цель.

Общее правило: становясь умнее, ИИ всё лучше преследуют свои цели. См. также расширенные обсуждения ортогональности и самомодификации.