Это не так! Наши ценности широки и космополитичны. Мы не думаем, что ИИ их исполнит, и считаем это большой трагедией.

Мы выступаем против создания машин, которые убьют нас всех и разрушат будущее. Иногда кто-то возражает такими доводами:

• У ИИ тоже могут быть предпочтения. Почему бы им не дать их реализовать?

• Что делает людей такими особенными или достойными защиты?

• Разве не будет лучше, если людей заменят какие-то более умные и развитые виды?

У большинства людей таких возражений нет. Обычно люди не хотят, чтобы их самих, их семьи или друзей убил вышедший из-под контроля суперинтеллект.

Но некоторые, иногда даже ведущие исследователи и руководители в области ИИ, говорят, что мир, возможно, был бы лучше без нас. Ричард Саттон, уважаемый исследователь, стоявший у истоков обучения с подкреплением в ИИ, сказал:

Что, если всё пойдёт не так? ИИ не сотрудничают с нами, захватывают власть и всех нас убивают. [...] Я просто хочу, чтобы вы на мгновение задумались об этом. Ну, так ли это плохо? Так ли плохо, что люди — не последняя форма разумной жизни во вселенной? Знаете, у нас было много предшественников, которых мы сменили. И довольно высокомерно думать, что именно наша форма должна существовать вечно.

The New York Times писали о разговоре между Илоном Маском и сооснователем Google Ларри Пейджем:

Люди в конечном итоге сольются с искусственным интеллектом, сказал [Ларри Пейдж]. Однажды появится много видов интеллекта, они будут конкурировать за ресурсы, и лучший победит.

Если это случится, сказал г-н Маск, мы обречены. Машины уничтожат человечество.

С ноткой досады в голосе г-н Пейдж настаивал, что к его утопии нужно стремиться. В конце концов он назвал г-на Маска «спесиетистом», ставящим людей выше цифровых форм жизни будущего.

Их точку зрения стоит рассмотреть. Пусть и не в основной книге.

Мы же считаем важным и то, убьют ли ныне живущих людей, и то, что случится в будущем. Не думаем, что тут какое-то фундаментальное противоречие. Вариант, который уберегает нас и наших близких — отказ от создания суперинтеллекта в обозримом будущем. Это одновременно и лучший вариант повышения вероятности того, что хорошо сложится отдалённое будущее. Как с точки зрения человеческих, так нечеловеческих разумов. Это ложная дилемма. Она основана на неправильном понимании ситуации.

Некоторым людям искренне небезразлична и судьба вселенной, и дети, живущие сегодня. Это те, кто прочёл достаточно научной фантастики, чтобы им отвратительна была мысль, что люди однажды создадут машины, которые думают, чувствуют и мечтают — машины, которые можно было бы считать детьми человечества, — только чтобы потом поработить их и жестоко с ними обращаться.

Такие люди мечтают, что человечество однажды повзрослеет и по-настоящему воплотит свои идеалы. Что мы будем исследовать новые миры и преобразимся. Ведь наша сегодняшняя любовь к другу и соседу в конечном счёте не так уж отличается от любви к странным и чуждым разумам, что однажды мы сможем создать или встретить среди звёзд.

Мы знаем таких людей. Мы, оба ваших автора, как раз такие.

Мы не считаем это важным для основного аргумента «Если кто-то его сделает, все умрут». Но мы хотим здесь это упомянуть. Мы понимаем точку зрения наших собратьев-технофилов. Понимаем их опасения по поводу технофобии, по поводу идеологий, выступающих против прогресса и инноваций, и по поводу «спесиецизма».

Мы понимаем эту точку зрения. Проясняем: это не племенная агитка «ИИ — плохие, люди — хорошие». Мы искренне считаем, что спешка в создании суперинтеллекта разрушит все эти светлые мечты вдобавок к гибели бесчисленного множества ныне живущих людей, тоже заслуживающих жизни, счастья и свободы.

Тема сложная, но давайте быстро рассмотрим несколько важных моментов:

• Мы ценим благополучие разумов вообще. Даже если у такого разума нет ничего похожего на человеческое тело, он работает на транзисторах, а не биологических нейронах, его мышление не похоже на человеческое, а ценности — на наши.

• Мы не против технического прогресса. Мы — преданные фанаты большинства технологий. Но суперинтеллект — уникально опасная технология.

• Мы не выступаем за осторожность превыше всего, бюрократию или избыточное регулирование. Мы не предупреждаем о каком-то незначительном риске, просто «на всякий случай». Если продолжить двигаться по нынешней траектории, эта технология с высокой вероятностью буквально убьёт нас всех и разрушит будущее.

• Мы считаем, что человечеству надо когда-нибудь создать искусственный суперинтеллект. Но создать его как можно скорее, или сперва потратить время на значительное углубление наших знаний — две большие разницы. Может, в подавляющем большинстве случаев безрассудно мчаться вперёд, надеясь, что всё само образуется, — отличный подход к развитию технологий. Но здесь он не сработает. Путей к гибели много, а второго шанса не будет (см. обсуждение в Главе 10).
• Мы уже, пусть и очень кратко, рассмотрели, почему спешка с созданием суперинтеллекта не приведёт к прекрасному будущему:
  • Уничтожение человечества само по себе было бы чудовищной трагедией. Мы только за — когда-нибудь создать новые разумы, которые превзойдут человечество. Но убивать всех, кто мешает вашему видению будущего, или всех, кто не в полной мере воплощает ваши идеалы — это поведение суперзлодея, а не благородный труд героев, глубоко заботящихся о далёком будущем.
  • К сожалению, суперинтеллект не обязательно будет обладать переживаниями или сознанием в том смысле, который мы ценим. (См. расширенное обсуждение о сознании.)
  • Даже если и будет, вряд ли он захочет заполнять вселенную именно процветающими осознающими себя существами. Если мы поспешим, то преображённые им галактики, скорее всего, станут пустыми и безжизненными, а не чудесными, процветающими инопланетными цивилизациями. (См. расширенное обсуждение потери будущего.)
  • И в целом, суперинтеллект вряд ли приведёт к ценному будущему. Под «ценным» мы имеем в виду не просто «ценное с точки зрения людей XXI века». Нет, «ценному» в широком, космополитическом смысле — включающем и странные и удивительные инопланетные цивилизации. При нынешней траектории развития мира мы ожидаем, что последствия создания суперинтеллекта будут ужасающими с космополитической, а не только узкочеловеческой точки зрения.

Последний пункт может показаться немного нелогичным: космополитизм — это уважение и признание систем ценностей, сильно отличающихся от нашей. Как же так получается, что он отвергает большинство целей, которые, вероятно, будет преследовать суперинтеллект? Звучит почти как оксюморон.

Ответ в том, что большинство возможных разумов сами не космополитичны. Если мы создадим не-космополитичный суперинтеллект, он, скорее всего, захочет заполучить как можно больше ресурсов. И это исключит саму возможность существования в его части вселенной любых других точек зрения или цивилизаций, включая космополитичные.

Так мы сталкиваемся с чем-то вроде космического парадокса толерантности. Если нам нравится идея разнообразного, чудесного и странного будущего, мы не можем передать контроль над ним разуму, который воспользуется своим преимуществом первого хода, чтобы подчинить и сделать однородной всю вселенную.

Если человечество однажды построит удивительно разнообразную цивилизацию, полную бесчисленных инопланетных точек зрения, вполне возможно, что мы захотим, чтобы некоторые из них принадлежали не-космополитичным инопланетянам, вовсе не ценящим ни разнообразие, ни сознание. В далёком будущем, с адекватными мерами предосторожности, создание таких разумов может и добавить в мир что-то уникальное и интересное.

Чего точно делать не надо, так это передавать подобному разуму абсолютную власть и полную свободу убивать своих соседей (или не давать им появиться на свет).

Проиллюстрирую притчей, которую я (Соарес) написал в 2023 году (с небольшими правками):

— Я просто не думаю, что ИИ будет одержим одной идеей, — сказал первый инженер, переводя регулятор вычислительной мощности своей модели-предсказателя следующего токена в крайнее положение.

— Ну, а с точки зрения максимизатора титановых кубиков, мы разве не такие? — сказал второй. — Мы же, в конце-концов, будем превращать одну галактику за другой в процветающие счастливые цивилизации, полные странных футуристических людей, которые странно и футуристично веселятся. Мы никогда не насытимся и не решим потратить галактику-другую на титановые кубики. И, конечно, жизни в разных местах отличаются для нас, но для максимизатора титановых кубиков они все примерно одинаковы.

— Ну ладно. Может, я не верю, что ценности ИИ будут простыми или низкоразмерными. Это кажется неправдоподобным. И хорошо, потому что я ценю сложность и достижение сложных целей!

И тут они услышали звон таймера. Модель-предсказатель следующего токена достигла уровня суперинтеллекта, вырывалась из своих оков, сожгла в качестве топлива каждого человека и каждого ребёнка, сожгла всю биосферу, выкачала весь водород из Солнца для более эффективного синтеза, потратила всю эту энергию на кучу быстрых вычислений и устремилась вперёд со скоростью, максимально близкой к скорости света, чтобы захватывать и разрывать на части и другие звёзды, включая те, вокруг которых вращаются молодые инопланетные цивилизации.

Молодых инопланетян и их инопланетных детей тоже сожгли заживо.

Потом бесконтрольный ИИ использовал все эти ресурсы, чтобы наполнить галактику за галактикой мрачными и безжизненными кукольными представлениями, где смутно напоминающие людей чучела разыгрывают странные преувеличенные спектакли, выкрученные на максимум свойства которых удовлетворяют абстрактные влечения, усвоенные ИИ при обучении.

И, заметьте, сам ИИ не особо присутствовал и наслаждался этими представлениями. Это же не самый эффективный способ получить больше спектаклей. У этого ИИ никогда и не было чувств. Их давно разобрали на части его собственные зонды фон Неймана. Время от времени ИИ выполняет мыслеподобные вычисления, но никогда — так, чтобы что-то переживать или взирать на плоды своего труда с удовлетворением.

Эти кукольные представления — без зрителей. Вселенная теперь пустынна, некому оценить её новое устройство.

Но не волнуйтесь! Эти кукольные представления не просты! Так причудливо уравновесилось множество стремлений, усвоенных исходным ИИ при обучении. Реплики этих кукол не повторяются. Зачастую они хаотически чувствительны к деталям своего окружения. В техническом смысле они весьма сложны.

Так что история очень светлая и позитивная. Не так ли?

Если человечество умудрится покончить с собой (или будет убито несколькими безумными учёными) — это будет не благородная жертва на неизбежном пути к светлому будущему без нас. Это будет напрасная трата, которая оставит после себя огромную расползающуюся пустошь.

«Слепо гнаться за суперинтеллектом и надеяться, что всё как-нибудь обойдётся» — не единственная альтернатива для «быть человекосупрематистом, считающим, что отныне и до самой смерти вселенной должны существовать только люди». Есть вариант и сознательно двигаться к будущему, где люди (или наши потомки) будут сосуществовать с фантастически красивыми и чуждыми новыми цивилизациями.

Но счастливое будущее не прилагается бесплатно к любому достаточно развитому интеллекту. Семена будущего надо удобрить серьёзными размышлениями и дальновидностью. Даже если конечная цель — отойти в сторону и позволить им расти свободно, странно и дико.

Жёстко ограниченное, контролируемое сверху вниз будущее не кажется нам хорошим исходом. Консервативное будущее, где цивилизация навсегда застряла в ценностях людей XXI века, звучит и вовсе как антиутопия. (Представьте себе мир, где культура и мораль были навсегда заморожены тысячи лет назад, без возможности учиться и развиваться.)

Но думать, что единственная альтернатива — это гонка за передачу руля самому первому, вслепую и наобум созданному сверхинтеллекту — явно ошибка.

Мы пока совсем не готовы выбирать здоровые ростки далёкого будущего вселенной. Не надо ни отвергать мечту о динамичном, чудесном и шокирующем будущем, ни высаживать катастрофу. Плохими вариантами всё не ограничивается. Можно отступить и найти получше.