Нет. Понадобится какой-то другой выход из ситуации.

Прогресс в исследованиях ИИ вряд ли получится остановить полностью. Скорее всего, когда-нибудь исследователи найдут куда более эффективные методы создания ИИ.^* Или, может, какой-нибудь злоумышленник всё же сможет обойти запрет.

Будущее так или иначе настигнет человечество. И мы либо вымрем (как большинство видов до нас), либо перейдём в мир, где есть что-то умнее нас.

Но тянуть время вечно и не нужно. ИИ — не единственная технология, которая развивается. Биотехнологии тоже прогрессируют. Если удастся пару десятилетий сдерживать машины, мы дойдём до, например, генной инженерии, создающей значительно более умных людей.

Вопрос в том, сколько времени мы сможем выиграть и как им распорядимся.

У человечества есть основная задача. Надо безопасно пересечь пропасть от человеческого интеллекта к суперинтеллекту. Лучший известный нам план, который хоть сколько-то реалистично звучит: выиграть время, чтобы биотехнологии сильно улучшили человеческий разум. Настолько, чтобы будущие исследователи были настолько умны, что они никогда (например) не скажут, что инженерный проект уложится в срок и бюджет, если это на самом деле не так.

Настолько, чтобы они не верили в научные теории вроде аристотелизма или геоцентризма, даже если все вокруг верят. Настолько, чтобы у них был шанс пересечь пропасть между «До» и «После» с первой же попытки. (См. раздел «„До” и „После”» материалов к Главе 10.)

Можно представить и другие пути, но у этого есть важные плюсы. Он бьёт в ключевое узкое место («наука слишком зависит от проб и ошибок и мелких шагов, чтобы решить эту конкретную задачу»). Он использует технологии, которые уже появляются. Он не особо грозит миру катастрофой.

Мониторингу не следует быть вечным.

Теоретически человечество может вечно удерживаться на краю пропасти, сохраняя сегодняшний уровень компетентности. Но это, вероятно, потребует драконовского контроля над мыслями и делами людей. Да и без этого перспектива неприятная.

Мы лично считаем, что потомки человечества заслуживают стать кем захотят, исследовать звёзды и построить там прекрасную цивилизацию. Мы выступаем за запрет передового ИИ, потому что считаем суперинтеллект слишком опасным. Потому что эта мера необходима. А не потому, что ненавидим ИИ, технологии или прогресс.

Главный вопрос — как попасть в чудесное будущее и как не погибнуть в процессе.

Это важно подчеркнуть. Многие преподносят прогресс ИИ как ложную дилемму. Мол, общество должно либо принять риски и вдавить педаль газа в пол, либо отказаться от ИИ, чтобы так и угаснуть на одной планете.

Это неправда. Есть и другие маршруты в столь же яркое будущее. Без риска потерять всё ни за что. Надо поискать другой путь. (См. раздел «Если поспешить, её не будет.» материалов к Главе 12.)