Если кто-то создаст суперинтеллект, все умрут. А в далёком будущем, которое он построит, вряд ли будет место красоте, чуду или радости. Скорее всего, оно будет пустым.

Мы боимся, что вселенная лишится самой радости. Не вся — из-за расширения космоса и предела скорости света никакая катастрофа на Земле не затронет больше нескольких миллиардов галактик. Но та её часть, до которой Земля может дотянуться.

Мы боимся, что будущее через десять тысяч лет — прореха на ночном небе радиусом в десять тысяч световых лет, где все звёзды заключены в сферы Дайсона, собирающие их энергию, и никто и ничто этому не радуется.

В таком сценарии может не быть никакого сознания. А если оно и встречается, то, скорее всего, нечасто. Не исключено, что некая глубочайшая форма мышления требует рефлексивной структуры, оптимальная форма которой естественно обладает сознанием. Но если ИИ максимизирует количество крошечных титановых кубиков или тысячу разных странных и чуждых целей, нужно ли ему тратить на такое мышление большую часть доступной материи и энергии? Вряд ли.

Как мы описывали в «Эффективности, сознании и благополучии ИИ», наше основное предположение — с точки зрения эффективности сознание бесполезно. Если бы Deep Blue изменили так, чтобы он полагался на ось «удовольствие/боль» вместо оси «ожидаемая вероятность победы», он не стал бы эффективнее. Он отлично играет в шахматы без сознания. Предполагаем, оно не понадобится суперинтеллектам, чтобы оптимизировать вселенную.

Кажется очевидным, что самая эффективная возможная система принятия решений — не та, что работает на боли и удовольствии. Она не будет полагаться на ощущения, выведенные из сигналов «повторяй» и «не повторяй», привязанных к старой системе подкрепления стратегий, с надстроенными обдумыванием и рефлексией. А суперинтеллекты без этой структуры вряд ли будут обладать более сложными человеческими штуками вроде сознания.

Для ясности, это лишь предположение. Мы не понимаем вопрос «Обладает ли самая эффективная форма когнитивной рефлексии сознанием?» достаточно хорошо для уверенного ответа.

Но опыт подобных анализов заставляет тревожиться. Лучше понимая мышление, мы почти всегда видели всё больше и больше способов разобрать его на части и собрать заново по-другому, а не узнавали, что какая-то когнитивная функция может работать только одним-единственным образом.

В древние времена 2010-х (и тем более 2000-х) было много поклонников ИИ, которые настаивали, что единственный возможный и реалистичный способ его создать — оцифровать человеческий мозг нейрон за нейроном и продублировать все процессы в цифровом виде. Ведь, по их словам, это единственный вид мышления, доказавший, что он работает. Эти люди ожидали, что ИИ будет точной копией человека. Они очень категорично заявляли, что нельзя ожидать, будто какой-то другой путь вообще возможен. Не говоря уже о том, что инженеры когда-то его найдут.

Это звучало глупо уже тогда. Сегодня звучит ещё глупее. Точное дублирование нейронов человеческого мозга оказалось не самым коротким и быстрым путём ко всё более обобщённым ИИ.

То же верно и для более глобальных черт человеческого разума. Например, люди инстинктивно и эмоционально рассчитывают ценность информации. Человеческий способ — не единственный. Когда видишь, что он делает, понимаешь, человеческий мозг — не самый оптимальный способ, если нужна только эта функция. Так же как наши нейроны — не самые быстрые возможные компьютеры, а наша кровь не оптимально переносит кислород.

Ожидать какую-то конкретную черту жизни или разума в далёком будущем в основном стоит, если кто-то активно захочет, чтобы она была. Если какой-то интеллект предпочтёт этот вариант всем возможным другим.

Люди, если мы доживём, предположительно выберут далёкое будущее с сознанием, заботой о других и счастьем (а также весельем, удивлением и так далее). Наверное, мы выберем сложное счастье, связанное с событиями нашей жизни, а не наркотический ступор. Если же вселенную захватит нечто без активного желания правильного счастья — как терминальной цели, а не сомнительно эффективного способа сделать что-то другое, этого счастья там и не будет.

Нет известного закона, управляющего именно градиентным спуском, который бы гласил, что если вырастить мощную систему предсказания и направления событий, она, скорее всего, станет заботливой, эмпатичной, желающей сохранить счастье во вселенной, мотивированной им и желающей такой оставаться сущностью. Нет известных причин, по которым порождения градиентного спуска с большой вероятностью будут обладать сознанием и захотят, чтобы его было много.

ИИ, не обладающему сознанием изначально, скорее всего, незачем изменять себя, чтобы им обзавестись, или создавать новые, осознающие себя ИИ. А вот если изначально у него сознание есть, но оно не служит его целям и само терминальной целью не является, то он вполне может изменить себя, чтобы от него избавиться.

Сильной уверенности у нас тут нигде нет. Вдруг применение градиентного спуска к ИИ вроде LLM направит его по такому пути, что он обретёт что-то вроде счастья, сознания и предпочтения иметь их побольше. Вдруг всё это сохранится вплоть до уровня суперинтеллекта и будет сильно влиять на его поведение.

Если заставить нас выдать число, мы бы прикинули шансы на то, что суперинтеллект в итоге будет ценить сознание, как сильно меньше пятидесяти процентов. А шансы, что он будет ценить счастливые внутренние переживания — ещё ниже. Но не так низки, чтобы эт нас шокировало. Правдоподобно звучит, что где-то в упрощённых решениях универсальных задач есть место удовольствию и сознанию. Они не так странны, как юмор. Можно представить, как они и предпочтения по их поводу развиваются. Даже из градиентного спуска. Может, эксперименты GPT-7 по созданию GPT-8 с использованием методов куда страннее простого градиентного спуска в итоге случайно выдадут GPT-8, ценящую сознание и счастье.

Но если деятельность одной из самых крупных и быстрорастущих отраслей ведёт к полной неопределённости относительно того, будут ли когда-то снова существовать жизнь, сознание или счастье, — кажется очевидным, что позволить этой отрасли столкнуть нас всех с обрыва — полное безумие. Вообще, должно быть достаточно, что ИИ буквально ведёт нас всех к гибели. Но если вас хоть немного тревожило, что защита человечества означает эгоистичный приоритет сегодняшних разумов над будущими, надеемся, эти аргументы прояснили реальную ситуацию.

Даже в оптимистичном случае, когда ИИ сойдётся к ценности счастья, помните — человечество заботится о куче всего помимо счастья и сознания. Если галактики в итоге будут застроены почти бесконечными копиями наименьшего возможного мозга, способного испытывать удовольствие, и они будут вечно испытывать его на максимуме, это, пожалуй, будет непостижимой трагедией в сравнении с более сложным, разнообразным и счастливым упущенным будущим.^* Сценарии, в которых ИИ приобретают лишь фрагмент наших ценностей (например, предпочтение счастья, но не предпочтение полной, процветающей жизни и не неприятие скуки и однообразия), — это антиутопии.

Мы не знаем, как должно выглядеть хорошее будущее. Не знаем, так ли уж важно, будет ли через миллиард лет у людей, их потомков или их творений два глаза или пять. Будущее не обязано быть похожим на настоящее. Миру должно быть позволено меняться и расти.

Но мы думаем, что в этом будущем должны быть люди, которые заботятся друг о друге и живут полной жизнью. Люди, испытывающие более сложные переживания, чем просто максимальное удовольствие. Люди, которые не делают одно и то же снова и снова. Мы не уверены, как может выглядеть хорошее далёкое будущее. Но можем отличить его от пустого.

Мы хотим, чтобы галактики были полны существ, которые заботятся друг о друге и веселятся.

Если человечество не изменит курс, это будущее не наступит.