Мы рассказали про Юргена Шмидхубера, одного из пионеров исследований ИИ. Он считал, что ИИ со стремлением к максимальной простоте в итоге полюбит людей, ведь они так хорошо умеют всё упрощать.

Это на удивление распространённая ошибка. «Ну, у ИИ, вероятно, в конечном итоге появятся эстетические предпочтения. А люди создают искусство! Значит, ИИ захочет оставить нас, чтобы мы его делали».

Свежий пример — из xAI, крупной ИИ-компании, основанной Илоном Маском. Их план всеобщего выживания, по их же словам, заключается в том, что они заставят свой ИИ ценить «истину», а люди генерируют истины, так что всё будет хорошо. (Подробнее об этом и других планах выживания от ИИ-компаний можно прочитать в Главе 11.)

Для иллюстрации проблемы таких рассуждений разберём один пример. Возьмём что-то более нейтральное, чем «искусство». Например, «симметрию».

Предположим, с помощью современных техник вырастили сверхразумные ИИ, и они ценят симметрию. Приведёт ли такое единственное предпочтение к заботе о людях?

Можно было бы, в духе Шмидхубера, заявить: люди же двусторонне-симметричны! Как может ИИ, любящий симметрию, стерпеть убийство чего-то столь симметричного, как мы? Или ещё: люди производят много автомобильных колёс, а они очень симметричны! Зачем ИИ избавляться от нас — уже существующего источника симметричных вещей?

Проблема в том, что атомы, из которых состоит человек, можно расположить гораздо симметричнее. И атомы, из которых состоит человеческая цивилизация, можно перестроить в фабрики, ещё эффективнее производящие симметричные объекты. Это как ошибка из «Матрицы», где ИИ держат людей в капсулах в качестве генераторов тепла и электричества. Производить тепло и электричество можно и получше.

Но давайте ради спора допустим, что ИИ действительно ценят очень специфический и необычный вид симметрии, такой, что люди — лучший его образец. Но и так, с чего бы это значило, что ныне живущие люди смогут и дальше жить — свободные, здоровые и счастливые?

Думайте как ИИ. Даже если ему приходится иметь дело с людьми, ныне живущие — не самые симметричные из возможных. ИИ сможет ещё лучше удовлетворить свою тягу к симметрии, многократно клонируя самого симметричного из живущих людей. Или выведя «улучшенных» с помощью генной инженерии.

Ещё: позволить этим людям делать что хотят — не самый дешёвый способ сохранять их живыми и симметричными. Скорее, они окажутся на фермах. Дёшево и сердито (компактно) разместив людей, ИИ сможет создать их ещё больше.

Для сравнения: у человечества сейчас нет более эффективного способа производить яйца, чем разводить для этого кур. Руководители птицефабрик в основном заботятся о количестве яиц. И в итоге они помещают кур в крайне неприятные условия. Это самый дешёвый способ получить максимум яиц.

А ещё, куры, жившие тысячу лет назад, не были самыми эффективными несушками. Так что фермеры вывели несушек получше. Куры тысячелетней давности не давали как можно больше мяса как можно быстрее. Поэтому у некоторых современных кур грудки вырастают такими огромными, что птицы не могут ходить.

Некоторым людям не нравится, что мы так обращаемся с курами. Они оказывают давление на птицефабрики, чтобы те изменились. Это потому, что у этих людей есть и другие предпочтения, помимо дешёвых яиц. Для такого давления нужно, чтобы кто-то влиятельный хоть немного заботился непосредственно о благополучии кур. Простого желания получать яйца недостаточно для хорошего обращения с курами. Теоретически, у ИИ могут быть и другие предпочтения в отношении людей, заставляющие его хорошо обращаться с нами. Но они не возникнут из любви к симметрии (или к истине, или к простым объяснениям, или к чему-либо ещё, что на самом деле не про нас самих).

Даже фермеры, у которых более личные отношения со своим скотом, запрещают ему спариваться как вздумается. Разведение скота — серьёзное дело. Оно слишком сильно влияет на будущую прибыльность фермы, чтобы позволять быкам и коровам просто делать что хочется.

И даже такое положение дел не будет длиться вечно. Производство говядины с помощью коров очень затратно по использованию земли. Несколько стартапов пытаются синтезировать говядину напрямую.

На нашем технологическом уровне синтетическое мясо — непростая инженерная задача. Человечество только-только начинает догонять естественный отбор в некоторых областях органической химии. Но умей мы переставлять атомы получше, коров было бы гораздо меньше. Если они не нужны для молока и мяса, держать их рядом не так уж и весело.

Наша исходная гипотеза, что ИИ с чуждыми предпочтениями оставит людей ради «симметрии», теперь выглядит сомнительной. Случай, когда люди очень хорошо соответствуют хитровывернутому понятию «симметрии», уж очень маловероятен. Случай, когда они соответствуют оптимально, найти ещё намного сложнее. И даже тогда человечеству ничего хорошего не светит.

То, что любящий симметрию суперинтеллект оставил бы людей в живых, нереалистично. А если бы и оставил, то на сохранение нас здоровыми и счастливыми и свободными одновременно нет почти никаких шансов. Тут нагромождено слишком много подозрительно удобных совпадений. Если бы ИИ целенаправленно заботился о нашем благополучии и именно поэтому хотел, чтобы мы были счастливы — другое дело. Но воображать, что для этого достаточно гораздо более простых и лёгких целей, — фантазия.

С «просто сделать ИИ, который ценит истину» и «просто сделать ИИ, который ценит красоту» всё ровно так же. Просто там легче затеряться в мечтах. Слова вроде «истины» и «красоты» интуитивно звучат приятнее, чем «симметрия».

Если что-то звучит как хороший лозунг («пусть ИИ ценит истину превыше всего!»), — соблазнительно вообразить, что и последствия будут хорошими. Что все добродетели идут рука об руку, и если поддержать одну хорошую вещь, другие приложатся. Но природа и машинное обучение не так добры.

Чем оставлять идею приятно-расплывчатой, лучше рассмотрите любую конкретную метрику, которую суперинтеллект мог бы оптимизировать в поиске «истины». И заметьте, что люди не будут максимумом этого предпочтения к познанию истины. Даже близко не подберутся.

В маловероятном случае, когда ИИ тяготеет именно к тем видам истин, что обычно выражают люди (а не, скажем, случайным арифметическим уравнениям), лучший способ получить их побольше — это не держать людей рядом для генерации разговоров.

И, в любом случае, нынешнее население Земли — ваши друзья, ваша семья, вы — не окажутся среди самых дешёвых в содержании и самых «дойных и одомашненных» производителей «истины».

Почти для любой задачи счастливые, здоровые, свободные люди, живущие полной жизнью — не самое эффективное решение. Чтобы ИИ сохранил нас живыми и в добром здравии, он должен хоть немного о нас заботиться.