У них уже есть полномочия запрещать опасные технологии.

Запрет создания ИИ умнее человека мало что изменит в плане полномочий государства. Власти и так регулируют уйму вещей. Для области ИИ ограничение одной программы исследований, возможно, серьёзное событие. Но для правительства и общества это капля в море. Мы привыкли, что государство много куда вмешивается. И прецеденты запрета опасных технологий уже есть. Например химического оружия.^*

Запрет ещё одной технологии не ввергнет мир в тоталитаризм. Договоры о ядерном оружии вот не ввергли.

Мы не говорим, что запрет технологии — пустяк. Мы не считаем, что государство должно вмешиваться во что попало. Но суперинтеллект — это настолько серьёзно, что любая осмысленная планка достигнута.

Реши человечество остановить разработку ИИ сегодня, запрет не стал бы особо обременительным. Сейчас для создания передового ИИ нужно невероятное количество специализированных чипов и уйма электричества. Возможно, если мы допустим улучшение чипов и алгоритмов, через десять лет для разработки мощной системы хватит обычного ноутбука. Но этого можно не допустить. Тогда правительствам не придётся вмешиваться в жизнь обычных людей сильнее, чем при контроле за ядерным оружием. Но это если мир очнётся и примет меры сейчас.