Мир, к сожалению, достаточно велик для множества проблем.

Ядерная война и биотерроризм — реальные угрозы. Увы, машинный суперинтеллект — тоже.^*

Мир достаточно огромен и неидеален для всех трёх.

Угроза суперинтеллекта не похожа на многие другие. Она кажется уникально острой. Одно из отличий: значительные усилия мировой экономики идут на то, чтобы ИИ становились всё мощнее. Для сравнения: биобезопасность важна, но инвесторы не вливают десятки миллиардов в создание супервирусов. Инженеры супервирусов не получают зарплаты в миллионы или десятки (а иногда и сотни) миллионов долларов в год.

Мир вкладывается в ядерную энергетику. Но АЭС — совсем не ядерное оружие. В нашем мире никакие частные компании с огромными инвестициями и лучшими кадрами не создают всё более мощные ядерные бомбы. А то риск ядерной войны был бы куда выше.

Ещё с ИИ всё сложнее потому, что он даёт огромные богатства и власть вплоть до пересечения критического порога. А потом всех убивает. И никто не знает, где этот порог.

Представьте, что прибыль АЭС росла бы по мере обогащения урана. Но на каком-то неизвестном уровне обогащения АЭС взорвётся и подожжёт атмосферу. И все погибнут. И представьте полдюжины компаний, наперегонки обогащающих уран со словами «Лучше я, чем тот парень». Вот с искусственным суперинтеллектом похожая ситуация.^†

Опасность искусственного суперинтеллекта требует срочных мер. Корпорации торопятся создать эту технологию побыстрее. Неизвестно, сколько времени у них уйдёт. Но нам кажется, что ребёнок, рождённый сегодня, скорее умрёт от ИИ, чем закончит школу. Мы думаем, что вы, читатель, вероятно, умрёте именно от этого. Возможно — в ближайшие несколько лет. На кону весь мир.

Мы не призываем игнорировать другие проблемы. Мы призываем разобраться с этой.