Мы оптимисты по поводу кучи всего. Просто суперинтеллект не похож на остальное.

Мы считаем, что гораздо оптимистичнее и с большим энтузиазмом, чем в среднем, относимся к атомной и геотермальной энергетике, генной инженерии, нейроинженерии, биотехнологиям, нанотехнологиям, разработке лекарств и многим другим достижениям прогресса.^*

Мы, например, меньше многих беспокоимся о риске ядерной войны, наихудших сценариях изменения климата и многих других потенциальных угрозах и катастрофах. Человечество в целом на верном пути. Если мы не уничтожим сами себя, то, вероятно (хотя не точно), хорошо будет всем. Социальный и технический прогресс со временем будет делать жизнь всё лучше и лучше.

Мы оптимистично смотрим и на человеческую природу. Мы верим в доброту человечества и в то, что, если мы выживем и в большей степени станем кем хотим, эта доброта только вырастет. Мы в основном не боимся мрачного или антиутопического будущего — если только ИИ не лишит нас будущего совсем.

Наше беспокойство по поводу ИИ умнее человека вызвано не общим цинизмом или пессимизмом. Сверхразумный ИИ отличается от всех технологий, что были до него.

Другие технологии не мыслят самостоятельно, не строят планов побега и не создают ещё более мощные технологии. ИИ умнее человека — особый случай.

Наши опасения по поводу ИИ очень мало к чему ещё применимы. На свете мало чего-то хотя бы отдалённо столь опасного.

И даже в случае суперинтеллекта, уникальной угрозы и огромного вызова для мирового сообщества, мы думаем, что есть надежда на хорошее будущее. Человечество способно нажать на тормоза в разработке ИИ. Этого может хватить, чтобы направить нас на позитивную траекторию. Имея гораздо больше времени, человечество даже может хорошо подготовиться к безопасному созданию суперинтеллекта.

Но сперва для этого нужно увидеть ситуацию, как она есть.

Дело в доводах, а не в страшилках.

Мы уже приводили длинный список путей, как сценарии вроде «суперинтеллект интересуется людьми» на самом деле ни к чему хорошему не приведут. Мы представляем, что, прочитав такой список, некоторые читатели отреагируют примерно так:

У ИИ-оптимистов полно обнадёживающих историй. У вас — пугающих. Но все признают — будущее предсказать трудно. Я слушаю всё это, и склоняюсь к тому, что вероятность катастрофы с ИИ средняя. Не какая-то крайняя в ту или иную сторону.

Но вы не говорите: «Есть страшные истории, а есть обнадёживающие, так что мы не можем быть уверены в будущем, и на всякий случай стоит запретить суперинтеллект». Вы говорите, что обнадёживающие истории притянуты за уши и маловероятны, а к вашим стоит прислушаться внимательнее. Почему?

Короткий ответ: нельзя делать хорошие прогнозы, просто подсчитывая все мрачные и радостные байки и взвешивая их, как шарики на весах. Продумывать разные сценарии бывает полезно, но не так.^†

Проиллюстрируем. Представьте, что кто-то говорит: «Через двести лет на свете останется ровно восемь китов, и все они будут фиолетовыми».

У людей богатое воображение. Кто-то может написать целую книгу с сотнями историй о том, как популяция китов сократилась ровно до восьми особей, и все фиолетовые. А кто-то другой может написать книгу с сотнями историй, где китов не ровно восемь. «Ну, у обеих сторон есть правдоподобно звучащие истории, так что истина наверняка где-то посередине» — это не способ делать хорошие прогнозы.

Чтобы понять, где правда, нужно смотреть на реальные доводы. В случае с фиолетовыми китами аргумент, по сути, что такой исход слишком узок и специфичен. Он не случится, если только доминирующие направляющие события силы не будут к нему стремиться. То же самое можно сказать и о хороших, совместимых с человеком результатах работы суперинтеллекта.

Если бы кому-то поручили одну за другой развенчивать истории о «восьми фиолетовых китах», это был бы довольно монотонный цикл повторений «Нет, это слишком конкретно. Есть куча других вариантов будущего, которые не приведут именно к этому. Воображать, что всё будет именно так — выдавать желаемое за действительное».

Примерно в такой же роли оказываемся и мы, авторы, когда речь заходит об ИИ. Люди могут рассказывать разные истории, где наши дела хороши. Но, в конечном счёте, все они сводятся к представлению, что будущее пойдёт по одному-единственному узкому пути. А на деле есть куча других вариантов. И мы постоянно повторяем, что люди — не самое эффективное решение почти для любой задачи, и что ИИ не будет нас хотя бы чуть-чуть ценить.

«Если кто-то его сделает, все умрут» делает вывод об опасности ИИ, основываясь не на перечислении кучи мрачных историй. Мы излагаем в некотором смысле довольно простой аргумент: разработчики пытаются создать ИИ умнее любого человека. В какой-то момент у них это, скорее всего, получится. Существующие методы почти не дают людям возможности выбирать, в какое будущее ИИ будет направлять события. А разных направлений много. Большинство из них — плохие.

Мы перечисляем контраргументы не для того, чтобы задавить вас пессимизмом (если вы из тех, кто читает онлайн-дополнение от корки до корки). Но нам действительно снова и снова задают все эти вопросы. Хорошо чтобы где-то был сборник ответов. Вам не нужно читать их все. Они всё равно друг с другом перекликаются.

Важны сами доводы. Не чья-то склонность к оптимизму или пессимизму. Не сколько историй кто-то вытащит из рукава.