Время политических игр прошло.

Некоторые говорят, что люди, обеспокоенные гонкой к суперинтеллекту, должны скрывать свои взгляды. Мол, лучше говорить о потере рабочих мест из-за ИИ. Или о биотеррористах с ChatGPT. Или о затратах воды на охлаждение дата-центров.^* Мы считаем, что вы скорее сами себя перехитрите. Этот подход, скорее всего, приведёт к обратному результату. Мы уже не раз такое видели.

Тут четыре основные проблемы:

• Это нечестно. А люди хорошо чувствуют фальшь и манипуляции.

  Даже если вы на редкость хороший лжец, аргументы по вопросам, которые вы сами считаете вторичными, будут выглядеть странно. Не до конца убедительными. По ровно тем же причинам, почему вы сами считаете эти вопросы не первостепенными. Чем больше продвигать «причёсанные» доводы, тем скорее люди решат: вы либо сами запутались, либо что-то недоговариваете. В любом случае, вы не покажетесь надёжным союзником или источником информации.

• Это, скорее всего, не нужно. По нашему опыту, честный и прямой разговор о суперинтеллекте воспринимают куда лучше, чем попытки перевести тему на что-то вроде дипфейков. С середины 2023 года я (Соарес) всё чаще общался с разными выборными должностными лицами. Я бывал на ужинах, где «обеспокоенные ИИ» люди заговаривали о террористах с ИИ-помощниками, а действующий чиновник отвечал, что его страхи куда серьёзнее. Он боится, что рекурсивно самосовершенствующийся ИИ может породить суперинтеллект, который сотрёт нас с лица земли. И что это может случиться в ближайшие три года.

  Люди вплоть до членов Конгресса США готовы воспринимать эту проблему всерьёз и искать решения.^† Она может казаться более нишевой и спорной, чем есть на самом деле. Ведь на момент выхода этой книги ещё не было настоящего национального или международного диалога. Но многие наши откровенные разговоры в Вашингтоне прошли на удивление хорошо.^‡

• Решение других проблем не поможет с суперинтеллектом. ИИ-компании наперегонки строят суперинтеллект. Если они преуспеют, все умрут. Решения проблемы дипфейков или даже биотерроризма здесь совершенно не годятся.

  Конечно, какие-то точки пересечения есть. Подчеркивая связь разных проблем, можно собрать больше сторонников борьбы с ИИ умнее человека. Но крайне маловероятно, что мир случайно наткнётся на адекватный ответ на такую сложную угрозу, как суперинтеллект, не сосредоточившись на самой угрозе.

• Времени может быть мало. Вряд ли у нас есть годы, чтобы постепенно подводить людей к осознанию риска. Чтобы начинать с простых и привычных тем и медленно подниматься к суперинтеллекту. Не мобилизуемся быстро — можем не успеть ничего сделать.

Это не значит, что безработица, биотерроризм и прочее — ненастоящие проблемы. Но общество не остановит безумную гонку к самоубийству, если не будет знать, что она вообще идёт.

Мы годами наблюдали, как друзья и знакомые в политических кругах пытались «продать» публике темы вроде биотерроризма с ChatGPT. Кажется, ничего, что реально может помочь предотвратить создание машинного суперинтеллекта, из этого не вышло.

Мы — «ботаники» до мозга костей. Писать книгу для общей аудитории для нас очень некомфортно. Мы не претендуем на звание экспертов по политической интриге. Но нам кажется, что человечество тут вышло из области, где всё можно решить осторожными, стратегически выверенными, «не паникёрскими» речами.

В какой-то момент мы, люди, должны заговорить о надвигающейся угрозе. Политика должна опираться на реальное положение дел. Не на «безопасные» формулировки.

Главы ИИ-лабораторий говорят, что ИИ-исследователи, превосходящие людей, могут появиться в ближайшие годиличетыре. Очень надеемся, что они ошибаются. Но наверняка знать не можем. И политики не могут. Человечество не реагирует на угрозу адекватно. Если не бить тревогу сейчас, то когда?

Кстати: с тех пор как мы написали предыдущий абзац, предложенная нами стратегия стала приносить всё больше результатов. См. чуть ниже, что политики говорили о суперинтеллекте летом 2025 года. Похоже, настало время для настоящего обсуждения опасности искусственного суперинтеллекта.