Потому что у нас нет технических возможностей сделать его безопасным.

Мы затрагивали это в книге. Международный проект всё равно потребует повсеместного международного запрета. Иначе у участников проекта не хватит времени. Допустим, на Земле введут международный запрет. Какой вред от одного объединённого научно-исследовательского института?

Ну, международный союз алхимиков так же не смог бы превратить свинец в золото, как и алхимик-одиночка. Даже лучший, одобренный всеми алхимиками, план не сработал бы.

А ещё мы опасаемся, что управлять таким институтом будут бюрократы, считающие своей работой одобрение исследований. Или те, кто видит свой долг в том, чтобы исследователи и дальше выдавали гениальные открытия. Или те, кто посчитает, что как-то некрасиво отказывать всем этим блестящим и полным энтузиазма ИИ-оптимистам с гениальными идеями по созданию мощного и ну совершенно точно безопасного машинного интеллекта.

Мы боимся, что такое руководство направит международный центр на создание всё более умных ИИ. А потом все умрут.

Пусть даже устав организации позволяет отступать, когда исследования выглядят опасными. Редкий смельчак будет отказывать тысячам проектов каждый год. Без исключений. Вероятно, десятилетиями. Пока разработчики сулят несметные богатства, лекарство от рака и любые чудеса техники, — а вы только умерьте чуть-чуть беспокойство.

Мы посвятили жизнь изучению машинного интеллекта, а не бюрократической культуры. Поэтому мы не так уверены в этих прогнозах. Но учебники истории мы всё же читали.

Операторы Чернобыля продолжили роковой тест безопасности, потому что его уже откладывали трижды. Отложить в четвёртый раз было бы неловко.^*

Всего за три месяца до аварии в Чернобыле НАСА отправило шаттл «Челленджер» в последний роковой полёт. Начальство считало, что их работа — запускать шаттлы. Запуск уже трижды переносили.^† Ещё раз было бы неловко.

Судя по Чернобылю и «Челленджеру», три задержки — предел человеческого терпения. Представьте, вот есть международный ИИ-проект. И некий «тест безопасности» трижды проваливается. Люди вполне могут в четвёртый раз заглушить смутные сомнения и нажать на кнопку «Пуск». Иначе неловко будет. Вот только с ИИ дело не ограничится уничтожением города и гибелью астронавтов. Это убьёт всех.

Мы солидарны с мыслью, что люди должны когда-нибудь создать ИИ умнее себя.^‡ Но идея спешно создать международный центр для его разработки игнорирует сложность стоящей перед нами технической задачи.

Учитывая плачевное состояние наших знаний и компетентности, неважно, кто у руля. Если кто-то его сделает, все умрут.