У многих читателей, наверное, возникнет естественный вопрос:

Вы говорите: если кто-то создаст СИИ, все умрут. Но зачем тогда кто-то пытается? Если вы правы, эти люди в конечном счёте идут против собственных интересов. Если все умрут, они тоже.

Циничный ответ в духе теории игр мог бы звучать так:

А что, учитывая их стимулы, это рационально. Они считают, что если это не сделают они, сделает кто-то другой. А так можно хотя бы разбогатеть перед смертью.

Возможно, цинику хватит.

Такие простые теоретикоигровые объяснения часто идут врозь с человеческой психологией. Или слишком упрощают её. Но зерно истины тут, пожалуй, есть. Инженер может думать, что, наверное, СИИ всех убьёт, но его личные действия мало влияют на эту вероятность. А за них он получает безумные деньги, крутые игрушки и встречи с важными шишками, которые смотрят на него с уважением. А может, даже, возможность стать одним из богов-королей Земли, если всё обойдётся. Но только если его компания выиграет гонку.

С точки зрения исследователя из OpenAI, осознающего опасность, если он не будет работать в OpenAI, мир, вероятно, всё равно уничтожат. (Даже если OpenAI закроется, это сделает Google.) Но если работать в OpenAI, то в зарплате шесть-семь нулей. А если он не погибнет, то, будучи в команде победителей, можно получить власть и славу. И так личные стимулы каждого подталкивают к коллективному уничтожению мира.

На наш взгляд, это немного перебор. Мы приводим это объяснение в основном ради людей, которые (гораздо сильнее нас) убеждены, что мир обязан работать так. А ещё потому, что некоторые сотрудники ИИ-лабораторий прямо говорят, что гонка ко дну неизбежна, — так чего бы не подлить масла в огонь и не повеселиться?

Некогда Илон Маск предупреждал, что ИИ «гораздо опаснее ядерного оружия». Но потом решил сам открыть ИИ-компанию и вступить в соревнование. И в июне 2025 года заявил:

Часть того, с чем я боролся — что меня немного тормозило, — это нежелание делать Терминатора реальностью. До последних лет я тянул резину с ИИ и человекоподобными роботами.

А потом я вроде как понял, что это случится со мной или без меня. Так что ты либо зритель, либо участник. Я лучше буду участником.

И ещё:

Будет ли это плохо или хорошо для человечества? Эм, ну, думаю, будет хорошо? Скорее всего хорошо? Но я вроде как смирился с фактом, что даже если плохо, я хотя бы хочу дожить до того, чтобы это увидеть.

Так что как-то это влияет.

Но мы не думаем, что это главный фактор, объясняющий поведение большинства лабораторий. Даже в случае Маска вряд ли дело только в этом. И вряд ли это репрезентует всех руководителей и учёных, мчащихся к пропасти. Люди устроены посложнее.

Банальность саморазрушения

Что же тогда главное? Как инженеры могут разрабатывать опасную технологию, которая их убьёт?

Вообще, история показывает, что сумасшедшие учёные нередко случайно себя убивают.

Макс Валье, австрийский пионер ракетостроения, к 1929 году изобрёл функционирующие ракетный автомобиль, ракетный поезд и ракетоплан. Он привлёк внимание всего мира. Он писал об исследовании Луны и Марса и провёл сотни презентаций перед восторженной публикой. В 1930 году один из его экспериментальных двигателей взорвался и убил изобретателя. А ученик разработал меры безопасности получше.

Рональд Фишер — один из основателей современной статистики. В 1960-х его выводы использовали в Конгрессе, чтобы показать: данные не обязательно указывают, что сигареты вызывают рак лёгких. Ведь корреляция не означает причинности. Может, какой-то ген заставляет людей и любить вкус табака, и заболевать раком.

Понимал ли Фишер в глубине души, что его статистика — чушь? Возможно. Но сам курил. Он умер от рака толстой кишки. У давних курильщиков он встречается на тридцать девять процентов чаще, чем у некурящих. Погубили ли Фишера собственные ошибки? Статистически немал шанс, что да.

Исаак Ньютон был блестящим учёным. Он открыл законы движения и гравитации и заложил основы самой науки. Он потратил десятилетия на бесплодные алхимические опыты и довёл себя до болезни и частичного безумия отравлением ртутью.

А бедняга Томас Миджли-младший, которого мы упоминали в притче в Главе 12, заработал сильное отравление свинцом — тем самым, что считал безопасным. Как видите, энтузиасты нередко вредят себе собственными изобретениями. Из-за безрассудства, заблуждений или и того и другого сразу.

Пожимая плечами при виде апокалипсиса

Фишер, Ньютон и Миджли внушили себе, что нечто опасное безвредно. Это типичный для учёных способ делать что-то саморазрушительное. С ИИ-лабораториями всё не так просто.

Не все лидеры ИИ-компаний отрицают, что ИИ умнее человека — угроза. Многие открыто признают опасность. И рассказывают, как с ней смиряются. И нередко заявляют под запись: разрабатываемая ими технология с значительными шансами всех убьёт.

Незадолго до основания OpenAI Сэм Альтман писал: «Развитие сверхчеловеческого машинного интеллекта — вероятно, величайшая угроза дальнейшему существованию человечества».

Илья Суцкевер недавно покинул OpenAI и основал «Safe Superintelligence Inc.» В интервью Guardian он сказал:

Убеждения и желания первых СИИ будут чрезвычайно важны. Поэтому важно запрограммировать их правильно. Думаю, если этого не сделать, природа эволюции и естественного отбора будет благоволить системам, ставящим собственное выживание превыше всего. Не то чтобы ИИ будет активно ненавидеть людей и хотеть им навредить. Но он будет слишком могущественным.

Исследователь ИИ и сооснователь Google DeepMind Шейн Легг в интервью заявил, что вероятность вымирания человечества «в течение года после появления ИИ человеческого уровня» — «может, пять процентов, а может, пятьдесят».

Но действия лабораторий на удивление расходятся с этими громкими заявлениями.

В ряде случаев учёные и руководители прямо говорили: создание ИИ — моральный долг такой важности, что ради него вполне допустимо стереть человечество с лица земли в качестве побочного эффекта. Сооснователь Google Ларри Пейдж поссорился с Илоном Маском из-за разногласий о том, приемлемая ли цена вымирание людей за работу над ИИ.

Люди в конечном итоге сольются с искусственно интеллектуальными машинами, [говорил Пейдж.] Однажды за ресурсы будут конкурировать разные виды интеллекта, и лучший победит.

Если это случится, возразил г-н Маск, мы обречены. Машины уничтожат человечество.

С хрипом разочарования г-н Пейдж настаивал, что к его утопии нужно стремиться. В конце концов он назвал г-на Маска «спесиесистом» — человеком, ставящим людей выше цифровых форм жизни будущего.

А Ричард Саттон, пионер обучения с подкреплением, сказал:

Что, если всё пойдёт прахом? ИИ не станут с нами сотрудничать, они захватят власть и убьют нас всех. [...] Я просто хочу, чтобы вы на минуту об этом задумались. В смысле, так ли это плохо? Так ли плохо, что люди не станут финальной формой разумной жизни во Вселенной? Знаете, у нас было много предшественников. Мы пришли им на смену. Вообще, довольно высокомерно думать, что именно наша форма должна жить вечно.^*

Чаще учёные и директора всё же не считают уничтожение человечества благом. Но они относятся к этой чрезвычайной угрозе ИИ как к чему-то обыденному. Просто пожимают плечами. Будто это не ужасная чрезвычайная ситуация.

В недавнем интервью Дарио Амодей, CEO Anthropic, заметил:

Моя оценка шанса, что всё пойдёт катастрофически плохо в масштабах человеческой цивилизации, — где-то между десятью и двадцатью пятью процентами. [...] Это означает, что есть от семидесяти пяти до девяноста процентов вероятности, что технология будет создана и всё пройдёт отлично!

Нам это кажется радикальным примером нечувствительности к масштабу. И симптомом дисфункциональной инженерной культуры. Можно сравнить такой образ мыслей, например, со стандартами инженеров-строителей.

Мосты обычно стремятся конструировать так, чтобы вероятность серьёзного обрушения за пятьдесят лет была меньше 1 к 100 000. В типичных зрелых и здоровых технических дисциплинах инженеры считают своим долгом удерживать риск на исключительно низком уровне.

При прогнозе, что шанс моста убить хотя бы одного человека — от десяти до двадцати пяти процентов, любой вменяемый инженер-строитель сочтёт это абсолютно неприемлемым. Это ближе к убийству, чем к нормальной инженерной практике. Государство немедленно закрыло бы движение по такому мосту.

А вот исследователи ИИ привыкли собираться у кулеров и обмениваться своими «p(doom)» — субъективными догадками о том, насколько вероятно, что ИИ вызовет катастрофу уровня вымирания человечества. Обычно это двузначные числа. Бывший глава команды OpenAI по согласованию суперинтеллекта, например, сказал, что его «p(doom)» «более десяти, но менее девяноста процентов».

Это лишь догадки исследователей. Может, чушь, а может и нет. Но в любом случае поразительно, насколько в сфере ИИ нормально ожидать, что твоя работа со значительным шансом убьёт огромное количество людей.^†

Прикидывать такие шансы для выживания всего человеческого вида и всё равно продолжать работу? У большинства гражданских инженеров такое просто не уложилось бы в голове. Это такая экстремальная ситуация, что многие сомневаются, — неужели учёные и руководители говорят это всерьёз? В «Если кто-то его сделает, все умрут» мы аргументируем, почему CEO ИИ-компаний скорее занижают опасность.^‡

Уровень риска, с которым свыклись исследователи их этих компаний, шокирующе абсурден по стандартам инженера-мостостроителя. Только поэтому Дарио Амодей может улыбаться, уверяя зрителей, что шансы ИИ вызвать катастрофу масштаба всей цивилизации — «от десяти до двадцати пяти процентов».

Жизнь в розовых очках

Мы уже обсудили одну часть головоломки — культурную нормализацию чрезвычайного риска.

Другая — ядрёная смесь склонности к оптимизму и привязанности к светлым и обнадёживающим идеям. Психологи называют подобное ошибкой планирования.

Неудивительно, что руководство смелого стартапа переоценивает свои шансы. Такие люди вообще чаще берутся за сложные задачи.

Случай ИИ не выделяется особо безрассудными людьми у руля. Только цена провала здесь куда страшнее.

Все знают: нельзя верить подрядчику, если он обещает всего двадцать процентов вероятности, что стройка огромного моста не впишется в сроки или бюджет. В жизни сложные проекты так не работают. Препятствия и сюрпризы неизбежны.

Может, если ветеран с годами опыта и статистикой говорит, что у него из графика выбивается каждый пятый проект, можно ему поверить. Но представьте, что подрядчик хочет вас успокоить: «Мы не видим причин для сложностей. Да, это наш первый проект. Но, думаем, всё будет отлично. Инженеры пишут вам о серьёзных проблемах с подпорными стенами и грунтом? Да они те ещё нытики, не слушайте их. Конечно, какой-то риск есть всегда. Но мы скромные новички-реалисты. Мы думаем, есть двадцать процентов вероятности препятствий и сюрпризов, не больше.»

Вот тут «двадцать процентов» звучат как слова человека, который не может отрицать какой-то риск, но не хочет никого пугать. Не как оценка, основанная на реальности.

А согласовать суперинтеллект с первой попытки намного сложнее. С мостами люди справлялись уже тысячи раз.

И даже в устоявшейся и развитой области инженерии вроде мостостроения такие разговоры были бы плохим знаком. Оценка «двадцать процентов, что всё пойдёт плохо» выглядела бы дико оптимистичной. А в сфере без устоявшихся основ, где безумные идеи могут свободно плодиться без столкновения с суровой реальностью, такие разговоры значат, что до успеха ещё очень далеко.

Они типичны для исследователей и руководителей, которые вообще готовы обсуждать последствия своего успеха.

Лидеры ИИ-корпораций не выдают хотя бы относительно подробного плана успеха. Плана, решающего ключевые технические проблемы, известные уже больше десяти лет.

Вместо этого директора увлечены абстрактными идеями, объясняющими, что всё будет просто. Захватывающими видениями, в которых все инженерные задачи тривиальны. Вроде того, что мы обсуждали в Главе 11.

Это обычная человеческая черта, нередкая среди инженеров. Неоправданный оптимизм по поводу любимого решения (которое не сработает) встречается сплошь и рядом. Даже у гениев.

Лайнус Полинг был одним из основателей молекулярной биологии. Он дважды получил Нобелевскую премию. Он предлагал лечить всё — от рака до болезней сердца — мегадозами витамина C. Его упорство вопреки фактам породило целую область фальшивой медицины.

Томас Эдисон хотел дискредитировать конкурента с переменным током и продвинуть свой постоянный ток. Он решил, что хорошим пиар-ходом будет платить инженеру за убийство собак током. Публике это, вот сюрприз, не понравилось. Но Эдисон продолжал, несмотря на волну возмущения.

Наполеон Бонапарт, военный гений, сам приблизил свой крах катастрофическим вторжением в Россию. Ошибкой была не нехватка подготовки. Он изучил географию и потратил почти два года на логистику. Его стратегия требовала навязать русским решающее сражение до того, как через тридцать дней закончатся припасы. Русские навстречу не пошли. Наступление заглохло, и Наполеон потерял полмиллиона солдат и большую часть кавалерии и артиллерии.

История полна умных, могущественных людей, даже гениев, совершавших глупости вплоть до катастрофы. Трудно сопротивляться красивой идее, если её сложно проверить. Или если вы нашли, как убедить себя игнорировать результаты проверки.

Почувствовать СИИ

Итак: люди часто впадают в неоправданный оптимизм по поводу сложности задач. Люди привыкают к чудовищным рискам. Люди влюбляются в красивые, но безнадёжные идеи. Особенно в молодых и незрелых областях.

Этого вполне объясняет безумную гонку. Но, думаем, это ещё не всё.

Ещё одна вполне правдоподобная часть пазла: инженеры и директора не совсем верят в то, что говорят. Не по-настоящему. Они могут понимать аргументы и абстрактно соглашаться. Но это не то же самое, что чувствовать убеждение.

Есть то, что человек говорит публично. Есть то, что человек говорит себе в мыслях. А есть то, про что мозг реально ожидает, что это с ним произойдет. Часто всё это — разные вещи. Эти три потока убеждений не обязаны сходиться.

В 2015-м главные виновники нынешней плачевной ситуации только начинали. Тогда талантливые руководители могли привлечь внимание (и десятки миллионов долларов), называя ИИ угрозой миру. Спонсоры, возможно, в это искренне верили.^§

Но, подозреваем, многие из тех, кто это говорил, не впитали и не представляли подробную картину конца света. Не ощущали нутром, что они сами могут разрушить мир своими действиями или ошибками. Не представляли звук последнего выдоха каждого человека на планете. Не чувствовали эмоций, соответствующих убийству двух миллиардов детей.

С ними такого никогда не случалось. С их знакомыми — тоже.

Тогда даже ChatGPT никто ещё не видел, не то что суперинтеллект. Их друзья, семья и соседи ни во что такое не верили. Уж точно не как верят в необходимость смотреть по сторонам, переходя дорогу.

Это была просто захватывающая история. Слишком масштабная, чтобы осознать.

Но произнося её вслух, можно было получить кучу денег и уважения.

Как отмечал Юдковский (2006):

Помимо стандартных искажений, я лично наблюдал вредные способы мышления, похоже, специфичные именно для экзистенциальных рисков. Испанка 1918 года убила 25–50 миллионов человек. Вторая мировая война — 60 миллионов. 10⁷ — порядок крупнейших катастроф в истории человечества. Существенно большие числа, скажем, 500 миллионов смертей, а особенно — качественно иные сценарии вроде вымирания всего вида, похоже, включают другой режим мышления. Попадают в «отдельный магистерий». Люди, которые в жизни не обидели бы ребёнка, слышат об экзистенциальном риске и говорят: «Ну, может, человеческий вид и не заслуживает выживания».

В науке об искажениях поговаривают: люди оценивают не события, а описания событий. Это называется неэкстенсиональным рассуждением. Экстенсионал (реальный смысл) вымирания человечества включает смерть вас самих, ваших друзей, семьи и любимых, вашего города, страны и политических единомышленников. И всё же — люди, которых глубоко оскорбило бы предложение стереть Британию с карты, убить всех демократов в США или разбомбить Париж до стеклянной пустыни, кто ужаснулся бы, услышав от врача, что у их ребёнка рак, — эти люди с полным спокойствием обсуждают вымирание человечества.

О чём на самом деле думает человек, когда перед запуском будущей ИИ-компании номер один он говорит: «ИИ, вероятнее всего, приведёт к концу света, но по ходу дела будут отличные компании»? Они реально, на самом деле думают, что их друзья умрут, дети друзей умрут, они сами умрут, а вся человеческая история со всеми музеями обратится в пыль? Представляют ли они это так же обыденно и трагично, как смерть родственника от рака, только со всеми сразу?

Подозреваем, что нет.

Это кажется не самым правдоподобным описанием внутреннего состояния человека, произносящего такую фразу.

Здесь есть то, что Брайан Каплан назвал «недостающим настроением». Нет скорби. Нет ужаса. В словах о том, что ИИ уничтожит мир, но перед этим будут крутые компании, нет отчаянного стремления что-то с этим сделать.

Вот наша догадка насчёт некоторых директоров и исследователей: они слышали аргументы об опасности СИИ. Они боятся, что если просто отмахнутся от них, то будут глупо выглядеть перед друзьями. А вот если сказать, что ИИ погубит мир, получится, что они принимают технологии всерьёз, они, для некоторых кругов, провидцы. А шутка про «отличные компании» показывает, насколько они крутые и спокойные перед лицом опасности.

Когда слышат слова, выходящие из собственного рта, и верят им, такое не говорят.

Что это за люди?

Ещё одна часть разгадки, пожалуй, в том, что ведущими ИИ-лабораториями руководят люди, сумевшие убедить себя: создание суперинтеллекта — это нормально. Хотя (почти во всех случаях) они и видели аргументы о смертельной опасности. (Мы знаем, потому что со многими из них говорили.)

Чтобы понять выбор, полезно знать альтернативы. Из какого меню человек выбирал?

Что, если бы в 2015-м году кто-то реально поверил и публично заявил, что ждёт уничтожения мира искусственным суперинтеллектом? Если бы главы ИИ-лабораторий вместо «но будут отличные компании» испортили бы атмосферу, сказав: «И это абсолютно неприемлемо»?

Мы можем сказать. Пробовали так. Ответ: сочувствия они бы почти не встретили.

В 2015-м никто не видел ChatGPT. Никто не видел, как компьютеры начинают говорить и (судя по всему) думать. Всё это было гипотетическим. Легко отмахнуться.

Сейчас суперинтеллект и угроза скорого вымирания — мейнстримные темы. По крайней мере в технарских кругах. Но в 2015-м серьёзные разговоры об этом сталкивались с озадаченным взглядом, которого многие боятся пуще смерти.

Даже в 2015 были люди, которые переживали, что согласовать суперинтеллект может быть сложно, в том же смысле, как запустить ракету сложно. Никто из них не основал OpenAI.

В последнее время, с появлением ChatGPT и других LLM, некоторые (например, родители, которые хотят, чтобы их дети дожили до взрослого возраста) спрашивают ИИ-компании: зачем вы это делаете?

Исследователи быстренько думают и находят ответ: «О, ну, если не мы, это первым сделает Китай! И будет ещё хуже!»

Но при основании OpenAI так не говорили. Да и в контексте официальной позиции Китая на середину 2025 года это довольно бессмысленно. Казалось бы, если человек искренне верит, что оба исхода, вероятно, ужасны, он хотя бы поднимет тему международного договора. Поищет иной путь предотвратить угрозу нацбезопасности без суицидальной гонки.

Но отговорка «Китай!» создаёт нужные вайбы. Она правдоподобно оправдывает действия независимо от их реальной мотивации и причин.

(Ну, мы так полагаем.)

Люди, реально понимавшие угрозу суперинтеллекта, просто не основывали ИИ-компании. Кто основал — нашёл способ убедить себя, что всё будет хорошо.

Обычные люди, необычные технологии

Думаем, складывается правдоподобная психологическая картина. Но, честно говоря, все эти объяснения не так уж необходимы.

Как это люди могут творить саморазрушительные вещи, которые в краткосрочной перспективе приносят огромные деньги? И статус, и внимание, и славу, и сулят несметные богатства и власть, а в итоге, по сложным причинам, в которые легко найти повод не верить, им навредят. Странный вопрос. Если заглянуть в книги по истории, такое встречается сплошь и рядом.

В конце концов, не столь важно, как руководители и исследователи в ИИ-компаниях оправдывают свои действия. Необязательно понимать, какими именно извилистыми путями каждый из них пришёл к своим убеждениям. В том, что богатые или амбициозные люди пускаются в безрассудные авантюры, а подчинённые выполняют приказы, нет ничего необычного. Вред — он в будущем. Оно кажется абстрактным, и его легко игнорировать.

Это нормальное человеческое поведение. Если так пойдёт и дальше, закончится тоже обычным образом. Только никого не останется, чтобы извлечь урок и попробовать снова.