Примечания | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Примечания

Трудно запретить широкие категории исследований, когда нужные знания уже есть у частных лиц. Мы предлагаем ограничивать исследования, если они совершенствуют способности или производительность ИИ. Или если они ставят под угрозу схемы проверки из предыдущих статей.

Некоторые исследования нужно запретить, чтобы способности ИИ с теми же затратами FLOP на обучение не росли. Этот запрет должен охватывать любые исследования, повышающие эффективность обучения или способности обученного ИИ. Это часто называют «алгоритмическим прогрессом». При нынешней парадигме в это входят входят улучшения алгоритмов предобучения, постобучения и вывода. При смене парадигм могут размыться границы и появиться новые категории. Поэтому в договоре говорится о «разработке, развертывании или использовании».

Прошлые улучшения, вроде трансформера, демонстрируют, что способности передовых ИИ могут возрасти очень быстро и сильно. Новые алгоритмы могут поменять то, как ИИ работают. К тому же, новые парадигмы могут резко снизить требования вычислительных ресурсов для того же уровня способностей. Например, эффективность использования данных у современных ИИ намного ниже, чем у людей. Значит, есть алгоритмы, которые по этому параметру гораздо сильнее. Просто их еще не нашли.

Другие исследования нужно запретить, чтобы требования к вычислениям для обучения опасных ИИ не снизились. Иначе их можно будет обучить на малом количестве чипов (или на большом, но распределенном мелкими кластерами по разным местам). Это помешало бы мониторингу.

Запрет должен касаться и поиска новых способов производства неотслеживаемых ИИ-чипов. Режим мониторинга осуществим во многом благодаря тому, что продвинутое полупроводниковое производство, нужное для ИИ, очень сложное, и мало где доступно.

Эта статья запрещает еще и исследование проектирования более производительных или эффективных ИИ-чипов. Без этого они с каждым годом становятся существенно эффективнее. Дата-центр на более эффективных чипах было бы легче скрыть, ведь он потреблял бы меньше электричества при той же, а то и большей, производительности.

Нужно будет иногда обновлять конкретный перечень типов ограниченных исследований. Например, в какой-то момент ISIA может захотеть ограничить исследования более совершенного компьютерного оборудования, не связанного с ИИ. Это может понадобиться, если такой прогресс будет угрожать возможности проверок.

Внутренние усилия по ограничению исследований могут сначала сосредоточиться на публикациях и финансировании. Изменение законов и социальных норм, вероятно, поможет убедить большинство исследователей прекратить опасную работу.

Такое разнообразие ограниченных действий в Пункте 3 нужно для надежности. Исследовательская деятельность может быть разделена между несколькими юрисдикциями. Например, компания в одной стране нанимает сотрудника во второй, а тот удаленно управляет чипами в третьей. Договор все равно однозначно возложит ответственность за запрет и предотвращение на каждое государство.