Может, чему ни обучай, доброта всё равно получится?
Доброта зависит от особенностей нашей биологии и происхождения.
Не похоже, что доброта в итоге появляется у любого разума. Причин много. Эти четыре из них мы ещё подробнее обговорим в расширенном обсуждении:
Любопытство не универсально: Черты вроде любопытства и скуки помогают людям решать определённые умственные задачи. Например, понимать окружающий мир. Но есть и другие способы. ИИ, скорее всего, будет решать их иначе. Подводные лодки прекрасно движутся под водой, и не то чтобы они плавали как люди или рыбы. Эта аналогия применима много к чему, включая доброту.
Человеческие ценности — следствие обстоятельств: Доброта и эмпатия появились у людей в ходе эволюции, благодаря особенностям нашей биологии и происхождения. Например, вероятно, имели значение племенные группы. Там были ограниченные возможности обманывать друг друга и отслеживать, кто кому насколько близкий родственник.
ИИ на глубоком уровне отличаются от видов, возникших в ходе эволюции: Эволюция и градиентный спуск работают очень по-разному. И оба процесса очень непредсказуемы. Даже запусти вы заново эволюцию приматов, не факт, что вы снова получите, например, доброту и дружбу.
Рефлексия и самомодификации всё усложняют: Маловероятно, что ИИ будут обладать некоторой долей доброты изначально. Но даже в таком случае они могут потерять её, став умнее и изменившись.