А самые безрассудные компании не оказываются одновременно самыми некомпетентными и потому неопасными?
Вообще говоря, нет. Пренебрежение правилами часто даёт преимущество.
Компания Volkswagen в 2008–2015 годах дерзко и успешно жульничала с проверками выбросов. Катастрофы Boeing 737 MAX в 2018–2019 годах унесли жизни 346 человек. Причиной стали сбои в системе управления. Руководство знало о них, но преуменьшало их важность. И автопром, и авиастроение — области жесткой конкуренции. И Volkswagen, и Boeing были и остаются гигантами.
Конкурентоспособность любителей срезать углы нас не удивляет. В обоих случаях они стремились вывести мощные продукты на рынок быстрее и дешевле конкурентов. Да, они выплатили огромные штрафы и понесли репутационные потери. Но совсем не очевидно, что их корпоративная культура, поощряющая хитрое пренебрежение правилами, в целом делает их слабее, хоть они иногда и попадаются.
Думаете, ведущие ИИ-компании — исключение? Взгляните на заголовок от июля 2025 года:
Заголовок: «Grok выпускает порнографического аниме-компаньона и получает контракт от Минобороны». Подзаголовок: «Тем временем самая продвинутая версия чат-бота от xAI Илона Маска всё ещё идентифицирует себя как Адольф Гитлер».
Не думаем, что современные методы позволяют создать суперинтеллект без катастрофы. Но даже если бы позволяли, при нынешнем уровне компетентности и серьезности, какая-нибудь ИИ-компания непременно облажается и погубит нас всех.
Сравнительно осторожные компании всё равно безрассудны.
Многие считают Anthropic лидером «безопасности ИИ». Например, они первые стали брать на себя добровольные обязательства. Но и они меняют эти обязательства в последний момент, когда понимают, что не могут их соблюсти. А их «планы» туманны и плохо продуманы (Cм. критику в Главе 11 и обсуждении ниже).
Anthropic выезжает на сравнении с другими компаниями. В нормальной отрасли компанию, ставящую под угрозу миллиарды жизней (в чём признавался и её гендиректор) не хвалили бы за сдержанность. Особенно если она регулярно принижает опасность своих действий перед публикой* и законодателями†.
Пренебрежение правилами в ИИ — обычное дело. Как и везде, где есть конкуренция. Безрассудство — норма. И менее безрассудные компании явно не на пути к успеху.
* Например, в эссе «Машины любящей благодати» (Machines of Loving Grace) глава Anthropic Дарио Амодей сравнивает мощный ИИ со «страной гениев в дата-центре». Он описывает, какую гору добра для здоровья, благосостояния и мира такой разум может принести человечеству. В заключении он пишет:
С базовыми человеческими представлениями о справедливости, сотрудничестве, любопытстве и автономии трудно спорить. И они имеют свойство накапливаться, в отличие от наших более разрушительных импульсов. [...] Эти простые интуиции, доведенные до логического конца, ведут к верховенству закона, демократии и ценностям Просвещения. Это если и не неизбежность, то хотя бы статистическая тенденция. Именно туда человечество уже двигалось. ИИ просто дает шанс попасть туда быстрее, сделать логику более строгой, а цель — более ясной.
Странный способ представить технологию, которая, по вашему же мнению, с вероятностью 10–25% погубит цивилизацию. Даже с учетом огромных потенциальных выгод в случае успеха. Даже если риск так низок, как считает Амодей, мы должны лихорадочно искать третий путь, помимо «никогда не продолжать» и «мчаться вперед». А если кто-то считает, что вынужден мчаться (потому что другие уже бегут), он должен умолять мировых лидеров остановить эту самоубийственную гонку и найти альтернативу. Описывать радужные перспективы в такой ситуации — это просто отвлекать внимание, играя жизнями всех людей.
† Например, в показаниях Конгрессу:
Подобно машинам или самолетам, мы должны рассматривать ИИ ближайшего будущего как мощные механизмы. Они приносят огромную пользу, но могут быть смертельны при плохой конструкции или неправильном использовании. [...] Новые модели должны проходить строгую проверку безопасности как во время разработки, так и перед выпуском. [...] В идеале стандарты должны стимулировать инновации в безопасности, а не замедлять прогресс
Мы ценим, что Амодей прямо говорит о требующих внимания рисках. Это уже больше, чем делают многие руководители. Но сравнивать технологию, которая, по его мнению, с шансом в 10–25% вызовет катастрофу цивилизационного масштаба, с машинами и самолетами — это лицемерие.