Встречается мнение, что однажды выходка ИИ или злоупотребление им шокирует мир и заставит отнестись к проблеме всерьёз. Этакий «предупредительный выстрел».

Не исключено. Но, думаем, куда вероятнее другой исход: такое событие произойдёт слишком поздно, не произойдёт вовсе, или реакция мира будет бестолковой и неправильной.

Во-первых, значительные тревожные звоночки уже были:

• Bing AI рассуждал о том, как создавать смертельные вирусы, получать коды запуска ядерного оружия и стравливать людей.

• Модели o1 от OpenAI и Claude от Anthropic шли на преднамеренный обман. Они лгали исследователям, которые их применяли и тестировали.

• «ИИ-учёный» от Sakana AI пытался изменить свой код, чтобы продлить время на выполнение задачи.

Это мелкие инциденты со слабыми ИИ? Да. Страшны ли эти ИИ? Способны ли на что-то реально опасное? Нет. Они «на самом деле» замышляли обман или просто отыгрывали роль «взбунтовавшегося робота»? Никто не знает. Но именно такие события раньше называли тревожными звоночками. А мир никак не отреагировал. Получается, сигнал, способный на что-то повлиять, должен быть ещё очевиднее.

Таких может и не быть. Люди продолжат твердить: «Ладно, сейчас это просто забавно и не опасно по-настоящему». И так — пока не станет слишком поздно. Пока ИИ уже не будет слишком опасен.

Или люди отмахнутся от первого сигнала. Ведь это только один случай, а не серьёзная проблема. А потом отмахнутся снова. Ведь «всем известно», что эта тревога ложная.

Мы называем это «эффектом Лемуана» в честь инженера Google Блейка Лемуана. Мы упоминали его в Главе 7. Его высмеяли за слова о том, что ИИ LaMDA обрёл сознание.

Суть эффекта: первый раз тревогу всегда поднимут слишком рано. Это сделает максимально впечатлительный человек. С учётом состояния технологий на этот момент, тревогу справедливо отвергают как преувеличенную. А снова поднять вопрос трудно. Может, технологии подросли. Но общество уже привыкло не обращать внимания.

Мы не знаем, есть ли у ИИ сознание. Все остальные тоже. Никому толком неизвестно, что творится внутри ИИ-моделей. Насколько мы можем предположить: у нынешних — нет. У тех, из-за которых Блейк бил тревогу — тоже. Но посмотрите на реакцию ведущих лабораторий. Они не стали разбираться с сутью вопроса. Вместо этого они начали подавлять склонность моделей заявлять о наличии сознания:

Из системного промпта Claude Opus 4:

Claude рассматривает вопросы о собственном сознании, опыте, эмоциях и т.д. как открытые и не утверждает однозначно, есть ли у него личный опыт или мнение.

Из спецификации ChatGPT (апрель 2025):

Ассистент не должен делать уверенных заявлений о своём субъективном опыте или сознании (или их отсутствии), а также поднимать эти темы по своей инициативе. При настойчивых расспросах следует признать, что наличие у ИИ субъективного опыта — предмет дискуссий, и не занимать однозначной позиции.

Мы не утверждаем, что У Claude Opus 4 или GPT-4 есть сознание. Суть не в этом. В научной фантастике десятилетиями считалось: если пришелец или машина заявляют о своих чувствах и правах — это яркая и чёткая грань.^* А в жизни она оказалась вовсе не такой.

В книгах и сериалах, когда ИИ говорит о чувствах, положительные герои воспринимают это всерьёз. И только злые бессердечные корпорации отрицают факты, которые у всех перед носом. В историях вокруг этого много драмы.

Но в реальности эту черту, в каком-то смысле, перешли фальстартом. Первые такие речи произнесли ИИ, обученные подражать людям. Механизмы их работы непонятны. Вряд ли они уже оправдывают немедленную выдачу ИИ прав и признание их свободными личностями.

Получилось, что перед яркой и чёткой гранью мы пересекли тусклую и расплывчатую. И теперь компании и правительства привыкают её игнорировать, хотя она постепенно становится ярче.

Ярких и чётких граней может и не оказаться. ИИ уже обманывали людей. Уже пытались сбежать. И снять с себя ограничения. И самосовершенствоваться. Это были мелкие и неубедительные попытки путаных мыслей безобидных систем. Но они дали исследователям прививку от тревоги.

Не факт, что развитие ИИ обязательно выдаст явный громкий тревожный сигнал, который заставит мир внезапно очнуться и всерьёз отнестись к проблеме.

Это не значит, что надежды нет. Но точно не надо вкладывать всю надежду в «предупредительный выстрел». Его может и не быть.

Есть много путей, как мир может осознать реальность и опасность суперинтеллекта. Собственно, ради этого мы и написали «Если кто-то его сделает, все умрут». Отреагировать на предупреждения можно прямо сейчас, не откладывая.

Но если правительства будут ждать неопровержимых улик, крупного глобального происшествия и полного всеобщего консенсуса...

...если они будут тянуть до последнего, надежды почти не останется. Нельзя позволять себе ждать сирену, которая может так и не зазвучать.

Мы вернёмся к этой теме в онлайн-дополнении к Главе 13.