Исследования и разработка ИСИ очень опасны. И есть риск, что если одна страна решит выйти из договора и начать гонку к суперинтеллекту, то другие последуют за ней. С учетом всего этого для выхода из договора должны быть серьезные барьеры.

На практике это сложно. Например, Северная Корея вышла из ДНЯО, чтобы продолжить свою деятельность по получению ядерного оружия. Резолюции СБ ООН и связанные с ними санкции ее не остановили. Последствий оказалось недостаточно, чтобы заставить Северную Корею прекратить.

Договор дает понять, что если страны хотят из него выйти, то в глазах всех Сторон они отказываются от права на инфраструктуру ИИ. И что они будут объектом Защитных Действий согласно Статье XII. Любые дальнейшие переговоры вокруг проблемы ИСИ (например, чтобы избежать Защитных Действий) придется вести с заинтересованными Сторонами.

Если возможность выхода из договора достаточно тревожит, можно добавить механизмы, затрудняющие опасные действия после него. Например, США и Китай могли бы договориться об установке взаимных «аварийных рубильников» внутри остающихся дата-центров. Тогда обе стороны при желании смогут навсегда их отключить. Или они могут принять многосторонний режим лицензирования. При нем все новые ИИ-чипы должны будут производиться с аппаратными блокировками. И для продолжения работы потребуется одобрение нескольких стран. Если одна страна выйдет из договора, другие могут свое одобрение отозвать. Еще одна идея — перенос ключевой инфраструктуры ИИ в третьи страны. Тогда, если сторона выходит из договора, ее инфраструктуру можно конфисковать или уничтожить. В нашем проекте методы сдерживания минимальны, но возможностей много. А благодаря технологическим инновациям станет еще больше.

Этот проект договора сфокусирован на предотвращении опасной разработки ИИ. Он не предлагает конкретного позитивного видения, как разработки можно будет когда-нибудь продолжить. Например, можно было бы включить сюда совместные инвестиции в аугментацию человека. Но людям не обязательно принимать эти детали, чтобы согласиться — гонку к суперинтеллекту нужно остановить (см. раздел «Работать над остановкой суперинтеллекта можно, даже если вы не согласны по поводу усовершенствования людей» материалов к Главе 13). Поэтому тут мы это опустили.