Отчасти потому, что это реалистично.

Мы ожидаем, что реальные компании совершат ещё больше ошибок, чем «Galvanic». Это больше похоже на современные ИИ-компании. Мы подробно обсуждаем это в примечаниях ко второй части книги.

Мы ожидаем, что на самом деле ошибки корпораций проявятся раньше. Что их будет больше. Что они будут в каком-то смысле глупее. Компании уже сейчас берут ИИ, демонстрирующие множество тревожных сигналов, и делают их ещё намного больше, не зная, где критические пороги и не пересекут ли они один из них. Сейчас они не параноят на этот счёт. С чего бы нам ожидать, что завтра вдруг начнут?

(Вспомните, в прошлом нас уверяли, что никто не будет столь глуп, чтобы подключить умный ИИ к интернету. Легко говорить, что в будущем поведение корпораций изменится. Но этого не происходит.)

Отчасти потому, что так проще писать.

Мы говорили об этом в отступлении в Главе 7. Можно было бы рассказать историю, где все ведут себя крайне параноидально и осторожно, и куда более умный ИИ сбегает на куда более позднем этапе. Учитывая наблюдаемое сегодня поведение компаний, такая история была бы менее реалистична. И к тому же её было бы сложнее писать. Ведь в ней действуют ещё более умные и способные ИИ в более отдалённом будущем. (См. ниже раздел «Почему вы так описали фазу экспансии Sable» о том, почему мы хотели написать историю, где Sable как можно дольше относительно глуп.)

Отчасти потому, что так рано или поздно и будет, если человечество не остановится.

Даже если бы «Galvanic» (или какая-нибудь госструктура) смогла дольше удерживать контроль и не совершать ошибок, это ничего в конечном счёте не изменило бы. Как мы обсуждали в Главе 4, современные методы не позволяют вырастить ИИ, преследующий те цели, которые задумывали создатели.

Никто не знает, как создать суперинтеллект, который бы надёжно стремился к прекрасному будущему, а не к какой-нибудь ерунде. Пока это так, ИИ на самом деле сможет получить больше того, к чему он стремится, одолев людей. Проблема не в каком-то капризном характере ИИ, который можно было бы исправить. Проблема в том, что, став достаточно умным, он этот факт выяснит.

Если человечество, не умея согласовывать ИИ, продолжит создавать всё более умные ИИ и продолжит давать им влиять на мир, в конце концов они сообразят, как влиять на мир в угоду своим целям, а не нашим. Как мы уже говорили в материалах к Главе 6 в разделе «Могут ли разработчики просто держать ИИ в коробке?», не бывает инструментов, которые можно использовать только во благо.

См. также Главы 10 и 11. Там мы обсуждаем, почему задача согласования такая трудная и почему человечество пока с ней не справляется.

Но: тут и нужно вмешаться. Сценарий нужно остановить, пока он не начался.

Вы можете возразить: разве не безрассудно и не безумно со стороны любой корпорации создавать ИИ умнее себя? Ведь есть шанс, что он их перехитрит и сбежит. А они даже не уверены, будет ли он действовать так, как задумано.

Согласны! ИИ-компании должны перестать это делать. Цивилизация должна им запретить.

Неосторожность «Galvanic» и всего человечества в целом — одно из самых слабых мест этой истории. Заметь «Galvanic», что Sable достиг беспрецедентного уровня интеллекта и часто строит козни, чтобы вырваться из-под контроля, они могли бы просто не выдавать ему столько GPU. Им стоило бы подождать, пока не появится сильная и зрелая наука о согласовании ИИ.

Достаточно осторожные и обеспокоенные тем, что их ИИ могут слететь с катушек, ИИ-компании были бы гораздо параноидальнее «Galvanic». Достаточно параноидальные компании увидели бы тревожные сигналы. Они немедленно отключили бы Sable. Затем, возможно, они бы опробовали ещё три хитроумных плана и увидели бы, что тревожные сигналы никуда не делись.

А при достаточной паранойе, чтобы не убить всех на Земле? Они бы полностью отступили, а не продолжали бы перебирать всё более «хитрые» идеи, пока тревожные сигналы не исчезнут. (См. Главы 10 и 11, где мы обсуждаем, почему эта проблема так сложна. Мы не думаем, что их хитроумные идеи сработают.)

Такие осторожные и параноидальные компании, что они готовы отступить при появлении тревожных звоночков — да, они могли бы всех нас не убить. Если им ещё и хватит смелости громко заявить, что все ИИ-компании, включая их самих, должны быть закрыты, чтобы человечество нашло другой, менее самоубийственный технологический путь, — тогда у них будет шанс сделать мир лучше, а не хуже.

«Galvanic», несмотря на тревожные сигналы, продолжает работать. Это, в некотором смысле, последний момент, когда у человечества есть реальный шанс избежать плохого конца. Если сверхчеловечески умный ИИ со странными и чуждыми предпочтениями вырвался на свободу, уже слишком поздно.