ИИ могут с умом стремиться к нечеловеческим целям.

ИИ не глуп. Просто он разумно направляет события совсем не туда, куда направили бы вы.

Человек может отлично водить, но не хотеть ехать туда, куда надо вам.

Давайте глубже вникнем в пример из примечаний к Главе 4. Представьте себе ИИ, который пытается сделать как можно больше крошечных титановых кубиков. Для простоты будем считать, что это его единственная цель.^* Назовём такой ИИ «максимизатором кубиков».

Мы знаем многих людей, которые никак не могут отделаться от впечатления, будто мы приписываем максимизатору кубиков глупость. Будто он не понимает: действительно познав, что такое счастье, невозможно его не выбрать. И что не стремиться к счастью — объективно ошибочное решение. Куда бы вы ни направляли вселенную.

Мы понимаем, почему так кажется. Максимизатор кубиков, конечно, совершает поступки, которые с человеческой точки зрения были бы глубоко ошибочными! Человека, занятого столь бесполезным делом, рефлексия и философские аргументы, вероятно, переубедили бы. И он бы решил, что ему лучше заняться чем-то более осмысленным. Чем-то, приносящим больше счастья и радости.

Но максимизатор кубиков — не человек. Он не стремиться к ощущению «смысла». Его не волнуют счастье и радость. Вот совсем, сколько не копай.

Некоторым эта идея кажется контринтуитивной. Представьте, что вы узнали всё о том, как работают все возможные архитектуры разума. Что вы докопались до истоков собственной интуиции — тех шагов, которые делает ваш мозг, приходя к выводу, что максимизатор кубиков совершает ужасную ошибку.

Мы думаем, если бы вы увидели всю картину целиком, то поняли бы: даже самое глубокое, таинственное, невыразимое и трудноописуемое чувство, что счастье ценно само по себе и не нуждается в оправданиях, — это в конечном счёте лишь факт о человеческой точке зрения, а не о произвольных разумах.

Максимизатор кубиков попросту направляет реальность так, чтобы в ней было больше кубиков. Не добра, не счастья для него самого. Не для «исполнения» произвольной цели, которую можно поменять на достижимую полегче. Он хочет кубиков, только их.

Это мыслительный механизм, который вычисляет, какие действия ведут к наибольшему числу кубиков, и выдаёт соответствующий план. Он может полностью понимать и свободно изменять себя. Но всё равно останется сущностью, меняющей себя только так, чтобы кубиков становилось больше.

Факт: ощущение счастья — не кубик. Чувство самореализации — тоже не кубик. Вот он и не будет к ним двигаться. Ещё факт: если он изменит себя, чтобы стремиться к счастью, это не приведёт к увеличению числа кубиков. Значит, он не станет так меняться.

Нет никаких изъянов в том, как максимизатор кубиков понимает и предсказывает мир. Он не задаётся каким-то метаэтическим вопросом, правильный ответ на который — «я должен стремиться к счастью», и не получает ложный ответ «я должен делать титановые кубики». Он не действует в человеческих рамках, даже идеализированных. Он не ошибочно вычисляет «что-я-должен», а корректно вычисляет «сколько-кубиков-ожидаемо-получится».

Мы не говорим, что он попал в ужасную, запутанную ловушку. Это рефлексивно самосогласованный обобщённый интеллект. В каком-то смысле он менее запутанный, чем мы. Он не слеп, и не поэтому он не видит привлекательность счастья. Он не отворачивается ни от какой правды о мире или о себе. Просто ни одна из этих истин не побуждает его к тем же действиям, к которым они побуждают (некоторых) людей.

См. также расширенное обсуждение Тезиса Ортогональности.