Примечания | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Примечания

Сбор разведданных

Мы ожидаем от всех Сторон непрерывные и даже нарастающие усилия по выяснению, не ведет ли кто-то опасную деятельность в области ИИ. Так сбор разведданных государствами будет дополнять и подтверждать прямой мониторинг ISIA (см., например, Статьи IV–VII). Очень важна конфиденциальность данных, поступающих в отдел Консолидации информации. Надо убедить разведслужбы стран, что предоставление ISIA нужной информации оправдывает риски для их источников. Строжайшая секретность сводит эти риски компрометации к минимуму.

Знакомые Сторонам договора виды сбора разведданных, вроде спутниковых снимков и агентурной разведки, будут использоваться и дальше. Статья направлена на то, чтобы доказательства, полученные такими средствами, можно было использовать для информирования ISIA, не накладывая при этом чрезмерных издержек на тех, кто их добыл.

Статья затрагивает и наблюдение за не подписавшими договор странами. Там разведданные будет еще нужнее. Но договор не обязывает Стороны к этому наблюдению. Это кажется излишним. Они собирали бы такие разведданные в любом случае.

Защита информаторов

Общая эффективность Договора зависит от уверенности Сторон в том, что другие Стороны не ведут запрещенную опасную деятельность в области ИИ. Даже с Национальными техническими средствами (НТС) и другим сбором данных государствам может быть тяжело выявить тайные попытки создания суперинтеллекта. Много о чем государствам собирать данные сложно. Например, о происходящем внутри военных объектов государств-соперников. Стороны могут обоснованно опасаться, что какой-то объект ускользнул от мониторинга. Информаторы могут стать еще одним источником информации. К тому же, возможность донесения и разоблачения будет сдерживать от несоблюдения правил.

Эффективности информаторов поможет то, что люди, вовлеченные в тайные нарушения (например, секретные запуски обучения или исследования ИИ), могут и сами бояться опасности СИИ. Статья нацелена на то, чтобы им было безопаснее и дешевле сообщать о нарушениях. Надо сместить личные стимулы от молчания к информированию.

Информаторы могли бы бить тревогу по поводу разных нарушений Договора:

  • Статья IV: Сообщать о запусках обучения не под мониторингом, или за приемлемыми порогами, или с запрещенными методами распределенного обучения.

  • Статья V: Сообщать о незаявленных кластерах чипов, неконсолидированном оборудовании или перенаправлении чипов на секретные неконтролируемые объекты.

  • Статья VI: Сообщать о производстве новых ИИ-чипов вне режима мониторинга или о создании чипов без обязательных функций безопасности.

  • Статья VIII: Сообщать о запрещенных исследованиях ИИ.

Некоторые нарушения договора особенно трудно обнаружить одними только стандартными методами разведки. Например, распределенные сети обучения и государственные секретные проекты исследований ИИ.

Разные модификации этой Статьи могут по-разному повлиять на ее эффективность и политическую жизнеспособность. Например, государства могут предлагать добросовестным информаторам финансовую компенсацию. Это создаст дополнительную мотивацию. Но это могут расценить как плату гражданам за предательство своих стран.

Инспекции по запросу

Инспекции по запросу — критически важная функция Договора и ISIA. Без реальной и надежной угрозы обнаружения Стороны могут опасаться, что соперники попытаются обмануть договор (даже несмотря на проигрышную для всех природу гонки к суперинтеллекту). Сбор разведданных — один из методов борьбы с (кажущимися ошибочными) стимулами к нарушению.

Было бы беспрецедентно и нежелательно организовывать внутри ISIA полноценную разведку, способную давать странам гарантии. Так что вместо этого ISIA полагается в предоставлении ключевых разведданных на Стороны.


Прецеденты

Мы уже обсуждали прецеденты консолидации информации после Статьи VIII. Там мы ссылались на соглашения о разведке с практиками разделения информации, вроде «правила третьей стороны». Похожие правила есть у МАГАТЭ, например, в INFCIRC/153 Часть 1.5:

...Агентство принимает все меры предосторожности для защиты коммерческих и промышленных секретов и другой конфиденциальной информации, которая станет ему известной в результате осуществления Соглашения.

Сотрудники связаны обязательствами о конфиденциальности и несут уголовную ответственность за утечки. Это важно, потому что МАГАТЭ получает пользу от раскрытий разведданных (например, спутниковых снимков и документов) государств-участников. Так было в случае с незаявленным Ираном обогащением урана. А еще предоставленные разведданные привели к требованию МАГАТЭ специальной инспекции незаявленного производства плутония в Северной Корее.

Наш Договор признает незаменимую роль национальных технических средств (спутниковые снимки, сбор сигналов и другое дистанционное обнаружение) в проверке многосторонних соглашений. Тут мы заимствуем формулировки из Договора по ПРО. Там «каждая из Сторон использует имеющиеся в ее распоряжении национальные технические средства контроля» и «обязуется не чинить помех национальным техническим средствам контроля другой Стороны». Похожие формулировки есть в Статье XII ДРСМД 1987 года, Статье IV Договора о всеобъемлющем запрещении ядерных испытаний 1996 года и договоре СНВ-3 2010 года.

Поскольку, в случае СИИ, для обнаружения всех опасных нарушений НТС недостаточно, мы позаимствовали элементы системы гарантий МАГАТЭ. Они поощряют внутреннюю отчетность и предоставляют для этого каналы. Но им мешает отсутствие явной защиты информаторов. Ничто в ДНЯО или этих Гарантиях не защитит информатора от своего государства, если у него нет своих внутренних законов о защите, и оно решит отомстить. Мы включаем в Договор положения о защите информаторов и предоставление им убежища, чтобы исправить этот недостаток.

Недавнее законодательство ЕС об ИИ приняло аналогичные меры. Преамбула 172 Закона ЕС об ИИ прямо распространяет существующую в ЕС защиту информаторов на тех, кто сообщает о нарушениях Закона об ИИ.

В Конвенции о статусе беженцев 1951 года упомянуты «вполне обоснованные опасения стать жертвой преследований». Это потенциально открывает путь к предоставлению убежища информаторам. Хотя для гарантии, что разоблачение нарушений в сфере ИИ — юридически уважаемая причина преследования, может потребоваться поправка или дополнительное соглашение.

Во время и чуть после Холодной войны предоставление убежища людям с деликатными знаниями или опытом было обычным делом. Раздел 7 Закона о ЦРУ 1949 года обеспечивал допуск и постоянное проживание до ста перебежчиков и их ближайших родственников в финансовый год. Это должно было быть «в интересах национальной безопасности или необходимо для выполнения миссии национальной разведки». Закон об иммиграции советских ученых 1992 года предоставлял до 750 виз ученым из бывшего СССР и стран Балтии с «опытом в ядерной, химической, биологической или других высокотехнологичных областях или работающим над ядерными, химическими, биологическими или другими высокотехнологичными оборонными проектами».

Механизм инспекций по запросу из Пункта 3 этой Статьи смоделирован по образцу Статьи IX КЗХО:

Каждое государство-участник имеет право просить о проведении инспекции на месте по запросу любого объекта или пункта на территории или в любом другом месте под юрисдикцией или контролем любого другого государства-участника исключительно с целью прояснения и урегулирования любых вопросов, касающихся возможного несоблюдения...

Помимо КЗХО, другие договоры о контроле над вооружениями, например, ДРСМД и СНВ-1, тоже сочетают НТС с инспекциями в духе «по запросу» для проверки соблюдения.