Примечания | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Примечания

В дополнение к ограничениям из Статьи VIII, страны будут проверять, что не ведутся запрещенные исследования ИИ. Ключевой аспект — определить «области, смежные с Ограниченными исследованиями» и наладить связи с исследователями в них. Топовых исследователей ИИ немного. Вполне реально отследить деятельность многих из них. Если считать только техперсонал ведущих ИИ-компаний, наберется порядка 5000 человек. Если считать участников топовых конференций — порядка 70 000. Обычно считается, что критически важная для разработки передового ИИ группа, вероятно, еще меньше — сотни.* Еще государства могут опрашивать исследователей об их деятельности. И, наконец, предлагать убежище и финансовые стимулы информаторам (см. Статью X).

Уже много знаний о нынешних практиках разработки ИИ находятся в открытом доступе. Злоумышленники могут на них опираться. Но мы думаем, юридические ограничения и проверки все равно очень сильно повлияют на общий прогресс в этой области.

Если расширить мониторинг на исследователей и инженеров, занятых в проектировании и изготовлении полупроводников, его объем существенно вырастет. Если это невозможно, государства, вероятно, могут мониторить компании, а не людей. Создавать передовые полупроводники — дело масштабное и сложное.

Пункт 2 этой статьи устанавливает режим повышенной прозрачности. Это помогает проверять запрет на исследования. Такие кооперативные меры должны давать Сторонам необходимые им гарантии. Мы представляем, что Стороны подыскивают уровень прозрачности (разрабатывая конкретные механизмы), которого хватает для уверенности, что запрет исследований соблюдается, но который минимизирует издержки для государственных интересов и частной жизни. Проверка запрета на исследования — сложное и деликатное дело. Оно потребует непрекращающихся усилий и поправок.

Стороны могут беспокоиться, что другие Стороны введут запреты на словах, но заведут секретные правительственные проекты, скрытые от иностранной разведки. Нарушающие запреты исследования бывают разного масштаба. Вероятно, крупные — где занято много исследователей и ИИ-чипов — замотивированным государствам обнаружить будет легко. Но для меньших, вроде разработки альтернативных парадигм машинного интеллекта, может хватить горстки исследователей и общедоступного оборудования. Трудно убедить другие Стороны, что такой скрытой деятельности нет. Мы предлагаем сочетать механизмы проверки ISIA со сбором разведданных (Статья X) и отмечаем важность защиты информаторов (тоже Статья X).


* В интервью 2025 года Дэвид Луан, глава исследовательской лаборатории Amazon по AGI, высказал оценку, что людей, которым он бы доверил «гигантское количество долларов на вычисления» для разработки передовой модели, «менее 150».