Много технологий запрещено или строго регулируется.

Классический пример: ядерные технологии. Частным компаниям нельзя обогащать уран без надзора правительства. Какой бы полезной ни была дешёвая энергия.

Вообще, человечество неплохо умеет регулировать и тормозить самые разные технологии. США строго регулируют новые лекарства и медицинские приборы, строительство жилья, атомную энергетику, теле- и радиовещание, бухгалтерию, уход за детьми, борьбу с вредителями, сельское хозяйство и десятки других отраслей. Во всех штатах нужно сдавать экзамены на лицензии парикмахера и маникюрщика. В большинстве штатов — ещё и на массажиста.

По нашему мнению, человечество часто регулирует технологии даже слишком сильно. Например, FDA убивает куда больше людей (бюрократией тормозя создание жизненно важных лекарств), чем спасает (не пуская на рынок опасные препараты). Цены на жильё, вероятно, завышены отчасти из-за регуляций о зонировании. США практически уничтожили свою атомную промышленность чрезмерными регуляциями. И, серьёзно, лицензии для парикмахеров?

Человечество определённо способно тормозить прогресс. Было бы трагично и нелепо тормозить медицину, строительство и энергетику, но не одну из редких технологий, которая действительно нас погубит, если её разработать.

Запрет может быть точечным.

Запрет разработки передового ИИ не должен касаться обычных людей. Не надо избавляться от современных чат-ботов или беспилотных автомобилей.

Мало у кого в гараже есть десяток топовых видеокарт для ИИ. Почти никто не управляет огромными дата-центрами. Большинство запрета на разработку ИИ даже не почувствует. Разве что ChatGPT будет обновляться не так часто.

Человечеству не придётся отказываться от нынешних ИИ. ChatGPT никуда не денется. Можно и дальше учиться встраивать его в нашу жизнь и экономику. Это и так принесёт больше перемен, чем мир видел за многие поколения. Да, мы упустим какие-то новинки. То, что появилось бы с ИИ поумнее, но ещё не готовым всех убить. Не то чтобы общество их сильно требовало.

Зато мы будем жить. И наши дети тоже.

Действительно нужное людям — например, новые медицинские технологии для спасения жизней, — можно создавать и не стремясь к суперинтеллекту. Мы одобряем исключения для медицинского ИИ. Главное, с надлежащим контролем, и держаться подальше от опасной универсальности.

Правительствам, которые стремятся избежать появления враждебного суперинтеллекта, придётся следить, чтобы чипы не использовали для создания более мощных ИИ. Какие сервисы и разработки разрешать — зависит от механизмов контроля. Они должны обеспечивать, что никто не ведёт опасных разработок. Чем надежнее эти механизмы, тем дешевле обойдется остановка прогресса. Можно будет разрешить больше всего.

Ещё одна полезная (но недостаточная сама по себе) мера — встроить в чипы для ИИ аварийные выключатели, мониторить крупные дата-центры и ввести протоколы экстренной остановки.^* Ядерные реакторы проектируют так, чтобы в случае аварии их можно было немедленно заглушить. Если вы согласны, что суперинтеллект грозит нам вымиранием, вывод очевиден. Чипы и дата-центры нужно делать так, чтобы регуляторы могли их легко обесточить.

Не надо уничтожать технологии из ненависти к ним.^† Просто надо уйти с дороги, ведущей к гибели человечества.

Значительная часть проблемы — люди не осознают нависшую угрозу искусственного суперинтеллекта.

По нашему опыту, люди, считающие, что гонку к суперинтеллекту не остановить, просто не понимают, что если кто-то его сделает, все умрут.

«Но ИИ принесёт огромную пользу!» Нет. Толку от мощи суперинтеллекта, если он всех убьёт. Чтобы была польза, нужно найти, как пережить его появление.

«Но АЭС пугают, потому что ассоциируются с бомбами, которые стирают города с лица земли. А ИИ — с безобидными штуками вроде ChatGPT!» Верно. Пока что. Если люди так и не поймут, что суперинтеллект, выращенный современными методами, нас погубит, его и не остановят. Но проблема не в неумении контролировать новые технологии (как ядерное оружие или энергетику). Проблема, что люди не осознают угрозу.

Мы потому и написали книгу. В последней главе мы обсуждаем, что человечество способно на многое, если достаточное количество людей понимает суть проблемы.