Почему ИИ станет преследовать цели, которым его не обучали?
Потому что при обучении есть много способов справиться хорошо.
Если вы обучили ИИ красить ваш сарай в красный цвет, это не обязательно значит, что ему и правда небезразличны красные сараи. Может, ИИ просто нравится плавно и равномерно двигать манипулятором. Может, ему нравится видеть ваше одобрение. Может, ему нравится смотреть на яркие цвета. Скорее всего, у него целый ворох самых разных предпочтений. Внутри ИИ способно завестись множество мотиваций. В данном контексте любая из них приведёт к покраске сарая.
Какие цели будет преследовать этот ИИ, став намного умнее? Кто знает! Многие мотивации могут выдать результат «сарай красный» при обучении. Поведение ИИ в другой обстановке зависит от того, какие именно. Этот момент мы подробнее разбираем в конце Главы 4.
Сегодня ИИ обучают быть дружелюбными и готовыми помочь. Неудивительно, что когда условия похожи на те, в которых их обучали, они так себя и ведут. Эволюция «обучила» ранних людей размножаться, и они действительно размножались.
Но у (большинства) людей в итоге не появилось внутреннего стремления завести как можно больше детей. Когда мы изобрели банки спермы и яйцеклеток, мир не сошёл с ума, все не бросились записываться на процедуры с тем же рвением, с каким люди пытаются попасть в топовый университет. Внезапно появилась возможность произвести на свет сотни отпрысков. Люди в массе своей отреагировали на это зевком. Очереди желающих сдать гаметы не растягиваются на квартал, как очереди за новой видеоигрой или билетом на концерт любимого музыканта.
У людей есть свои приоритеты, лишь связанные с максимизацией размножения.* Мы — не просто машины «заводи как можно больше детей», хотя эволюция «обучала» нас этому. Мы покрасили метафорический сарай в красный, но по своим причинам.
Дело не в том, смогут ли ИИ-компании научить свои чат-боты прилично себя вести с большинством пользователей в большинстве ситуаций. Вопрос в другом: какие механизмы на самом деле стоят за этим приятным поведением? И к чему эти же механизмы подтолкнут ИИ, когда он станет суперинтеллектом?
ИИ-компании могут обучать ИИ вести себя по-доброму (или, реалистичнее, говорить подобно слащавому и дружелюбному корпоративному дрону). Это влияет на его внутренние механизмы. Они тянут в разные стороны, и их текущая точка равновесия — поведение дружелюбного корпоративного дрона (и чуток странностей по краям).
Но равновесие определяется не только внутренними силами ИИ. Ещё влияют уровень интеллекта, среда обучения, тип получаемых входных данных и множество других факторов.
Как ИИ поведёт себя в другой обстановке? А если он станет умнее или сможет лучше контролировать поступающую к нему информацию? ИИ будет всё больше менять мир вокруг себя. Как он поведёт себя в этом новом мире? В таких условиях сложные внутренние механизмы в основе его поведения, скорее всего, найдут совершенно новую точку равновесия. Ведь современные люди едят совсем не ту еду, к которой эволюция готовила наших предков. И потребляют совершенно иные развлечения. Периферийные странности, скорее всего, выйдут на первый план. Тот, кто сегодня красит сараи, не будет заниматься этим вечно.
Каков итог всех этих странных стремлений? Что будет делать ИИ, движимый множеством мотивов, имеющих мало общего с человеческими? Что ж, этим вопросом мы займёмся в Главе 5.
* Мы не говорим, будто людям совсем наплевать на детей. Многие хотят завести пару детей. Некоторые — много. Но даже забота о детях — не совсем то же самое, что забота о генетической приспособленности. Ниже мы ещё обсудим это подробнее.
В прошлом году мы провели небольшой онлайн-опрос:
В переулке мутное сверхсущество делает вам убедительное предложение: если вы заплатите ему 1 доллар, в следующем году по всему миру родится миллион детей с одной из ваших хромосом, выбранной случайно. Родители на это согласились. Дети вас знать не будут. Вы согласны?
(Предположим экономическую нейтральность согласия: каждая затронутая женщина или пара заключила сделку и получила ровно столько, чтобы их чистая выгода была крошечной. И сверхсущество использовало для оплаты новые ресурсы, а не перераспределяло доллары.)
Из более чем полутора тысяч ответов, \~48,9% были «Нет» и \~51,1% — «Да».
По меркам нашей эволюционной «цели обучения», это равносильно рождению примерно 21 739 детей (потому что у людей 46 хромосом, а 1 000 000 / 46 = 21 739). С её точки зрения это один из лучших исходов, какие только можно представить. В эволюционном окружении наших предков человек мог бы только мечтать о таком распространении генов. И всё же половина опрошенных сказали, что не заплатили бы и доллара за такую возможность.
Поднимите цену за этот выигрыш в генетической лотерее до 10 000 долларов (лишь малая часть затрат, чтобы вырастить одного ребёнка до совершеннолетия), и число желающих упадёт до тридцати процентов. А в похожем опросе, где напрямую спрашивалось о тысяче детей, которых вы никогда не узнаете, лишь пятьдесят семь процентов ответили «Да».
Мы не советуем относиться к этим опросам слишком серьёзно. Мы просто развлекались. Возможно, некоторые ответили «нет» лишь потому, что сделку предлагало «мутное сверхсущество». Неясно и сколько людей сказали «да» из альтруистических соображений — например, они могли считать, что у них хорошие гены, которые сделают следующее поколение немного здоровее, и их радовала польза для здоровья, а не эгоистичное желание распространить свои гены. И, конечно, подписчики Юдковского в Твиттере — нерепрезентативная выборка населения. Но это, по крайней мере, свидетельство, что многие люди не испытывают прямого незамутнённого энтузиазма по поводу дешёвого распространения своих генов. Всё сложнее. Подробнее о том, как аналогичные сложности могут привести к проблемам с ИИ, читайте в конце Главы 4.