Примечания | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Примечания

Главный способ улучшения современных ИИ — влить в обучение больше вычислительных ресурсов. (См. раздел «Что нужно для глобальной остановки разработки ИИ?» материалов к Главе 13.) Ограничение этих ресурсов и исследований алгоритмов (статья VIII) может снизить риск скорого создания ИИ умнее человека.

Запрет основан на количестве операций (FLOP). Это легко определить и измерить. Существующие передовые модели дают нам представление о том, какие объемы вычислительных ресурсов безопасны при текущих алгоритмах.

В идеале мы бы хотели ограничивать обучение по возможностям готовой системы. Но никто не умеет точно предсказывать, что сможет или не сможет делать новый, еще не обученный, ИИ. Поэтому мы используем вычислительные ресурсы как прокси-показатель.

Жесткий лимит в 1e24 FLOP чуть ниже уровня близких к передовым моделей на август 2025 года (например, DeepSeek-V3 с 3e24 FLOP). Мы выбрали этот порог, так как он ниже уровня, на котором ИИ станут опасными (при нынешних алгоритмах). И он дает запас прочности на случай небольшого алгоритмического прогресса.

Лимит на постобучение (1e23) касается ИИ, созданных до вступления Договора в силу. Многие из них требовали больше 1e24 FLOP (на середину 2025 года таких моделей от 50 до 100). Веса многих из них выложены открыто, так что запретить их использование невозможно. Но реально предотвратить их серьезную модификацию через постобучение.

Запуск на 1e22 FLOP на 16 картах H100 займет около недели. Это достаточно много, чтобы любители не нарушили запрет случайно, обучая мелкие разрешенные модели. ИИ такого масштаба (с текущими алгоритмами) пока далеки от опасных. Но алгоритмический прогресс, если его не остановить, может сделать ситуацию куда опаснее. Тогда потребуется запрещать действия, которые сейчас под силу небольшим решительным группам с деньгами.

В диапазоне 1e22–1e24 FLOP ISIA будет заранее получать код обучения и оценки FLOP. Это позволит одобрять запуски без новых алгоритмических методов.

Обучение часто требует мелких исправлений (обновить библиотеку, перетасовать данные). ISIA может заранее одобрить набор мелких правок, чтобы не надо было запрашивать разрешение заново. О таких правках все равно нужно сообщать.

Отчетность и мониторинг в диапазоне 1e22–1e24 FLOP позволят людям пользоваться благами безопасных (при нынешних алгоритмах) ИИ. Но не дадут создать крупные и потенциально опасные системы.

Еще мониторинг поможет ISIA быть (хоть как-то) в курсе алгоритмического прогресса, происходящего несмотря на запреты. В Статье XIII говорится, что ISIA оценивает модели из этого диапазона. Это поможет Агентству видеть тренды развития ИИ и при необходимости снижать лимиты FLOP.

Обеспечить мониторинг реально благодаря консолидации чипов (Статья V) и проверке их использования (Статья VII). Консолидация означает, что у ISIA будет доступ к «железу» для крупных запусков. А проверка использования даст уверенность, что на чипах не обучают ИИ без разрешения.

Сотрудники ISIA получают доступ к обучающим данным при мониторинге. Но с ограничениями. Цель — гарантировать, что логирование и контроль предотвратят утечки чувствительной информации: личных данных, медкарт, гостайн, коммерческих секретов, банковских данных и так далее.