Примечания | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Примечания

Цель этой Статьи — гарантировать, что в случае развития ИИ ISIA будет в курсе. Например, обзор заявленного обучения позволит ISIA понять, какого уровня способностей ИИ можно достичь при каких затратах FLOP на обучение.

Даже при запрете алгоритмических исследований может быть прогресс, который нельзя эффективно остановить. ISIA должно его отслеживать. Еще ISIA должно следить за прогрессом проявления возможностей. Например, могут найти новые методы промптинга, благодаря которым у старого ИИ сильно вырастет какая-то критическая метрика. Это лишь два примера. В разработке ИИ много чего может меняться. В итоге может потребоваться изменить пороги из Статей IV и V и определения Ограниченных исследований из Статьи VIII. Обзоры — механизм, нужный, чтобы ISIA лучше понимало состояние способностей возможностей ИИ и правильно реагировало.

Учитывая запреты на крупные запуски обучения и алгоритмические достижения, такая статья может и не быть строго обязательной. Но обзоры кажутся уместными. Они помогут миру позволить себе и дальше использовать современные ИИ вроде ChatGPT, не рискуя гонкой к суперинтеллекту.

Обзоры ISIA могут оценивать опасные способности. Надо убеждаться, что ИИ не становятся слишком способными в конкретных областях. Еще можно смотреть на обучающие данные. Это поможет гарантировать, что ИИ не обучают для конкретных опасных задач (вроде автоматизации исследований ИИ). Можно и другими путями тестировать ИИ на неожиданное поведение.