Разумы со схожим интеллектом не обязательно будут иметь схожие ценности. Эта идея известна как Тезис Ортогональности. Вопросы «насколько ты умён?» и «чего ты в конечном счёте хочешь?» ортогональны (то есть ответы на них не зависят друг от друга).

Тезис Ортогональности гласит, что, в принципе, преследовать цель ради неё самой обычно не сложнее, чем преследовать её из инструментальных соображений. Вы можете учиться плотницкому делу, потому что вам нужно сделать стол, а ваш сосед — потому что ему нравится сам процесс.

Следствие: доброту, истину или любовь ценят не все существа, достаточно разумные, чтобы понимать их. Нет ничего запутанного или фактически неверного в том, что инопланетяне с «правильными гнёздами» ценят простое число камней. Поумнев, они не осознали бы вдруг, что им следует заботиться о чём-то другом. Разные разумы действительно могут просто двигаться к разным целям.

Конечно, это ничего не говорит о том, насколько легко или трудно создать ИИ, преследующий ту или иную цель. Любой конкретный метод выращивания ИИ сделает одни предпочтения более легкодоступными, а другие — наоборот.

(Глава 4, в некотором смысле, о том, что градиентным спуском особенно легко вложить как раз сложные, странные и не имевшиеся в виду предпочтения. Так что и в этом плане дела обстоят неважно. Но это уже вдобавок к Тезису Ортогональности.)

Предназначение Тезиса Ортогональности — ответить на интуитивное ощущение, что для машинного суперинтеллекта было бы глупо преследовать цели, которые люди считают скучными или бессмысленными. Что умный ИИ выбрал бы что-то другое. Мы можем назвать цель ИИ «случайной». Но он в ответ может назвать «случайными» нас. Обидные слова не меняют реального положения дел.

Основной довод в пользу тезиса об ортогональности таков: для каждого разума, который способен рассчитать, как произвести много микроскопических титановых кубиков, и который мог бы очень эффективно производить их за достаточно большую плату, найдётся другой разум, у которого эти расчёты просто напрямую подключены к выбору действий.

Представьте себе компетентного человека, которому отчаянно нужно продать много титановых кубиков, чтобы прокормить семью. Размышления этого человека не приведут к тому, что он поймёт — кубики скучные. Он не начнёт заниматься чем-то другим. Разве что это «другое» тоже принесёт ему достаточно денег на еду.

Тогда возможен и иной разум, который просто совершает действия, ведущие к наибольшему числу кубиков. И его рефлексия тоже не приведёт к осознанию, что кубики скучные, и надо заниматься чем-то другим. Ведь его действия управляются не расчётами «весёлости» или «осмысленности» в человеческом понимании. Они управляются расчётом того, как сделать побольше кубиков.

Любой мыслительный механизм, способный выяснить, как делать кубики, если дать достаточно хорошую причину, мог бы в другом разуме просто напрямую управлять действиями. Так что машинный интеллект может быть движим стремлением (скажем) к созданию крошечных титановых кубиков. Безо всякой оглядки на мораль.

Такому ИИ не нужно заблуждаться по поводу добра или морали. Став достаточно умным, он, вероятно, был бы гораздо лучше людей в вычислении, какое действие самое доброе или моральное. Он мог бы на отлично сдать письменный экзамен по этике. Но он не был бы этими расчётами замотивирован. Его действия не были бы ответом на вопрос «Какой вариант создаёт больше всего добра?». Его действия были бы ответом на другой вопрос: «Какой вариант создаёт больше всего кубиков?».^*

См. тут более подробное обсуждение Тезиса Ортогональности. А за конкретными примерами, как современные ИИ уже демонстрируют различие между пониманием и заботой, вернитесь к расширенному обсуждению ИИ-психоза в материалах к Главе 4.