В сентябре 1933 года физик Лео Силард переходил дорогу на пересечении Саутгемптон-роу с Рассел-сквер^*, и ему пришла в голову идея цепной ядерной реакции — ключевая идея атомных бомб.

В этот момент началось целое приключение. Силард пытался понять, что делать с этой важной идеей. Он пошёл к более уважаемому физику Исидору Раби, а Раби обратился к ещё более уважаемому Энрико Ферми. и спросил у того, считает ли он цепные ядерные реакции реальной вещью, и Ферми прислал ответ:

Чушь!

Раби спросил у Ферми, что означает «Чушь!». Тот ответил, что это отдалённая возможность.

Раби спросил, что Ферми имеет в виду под «отдалённой возможностью». «Десять процентов».

На что Раби ответил: «Десять процентов — это не отдалённая возможность, если это означает, что мы можем так умереть».

И Ферми пересмотрел свою позицию.

Из этой истории можно извлечь несколько разных уроков. Урок, который мы не извлекаем: «Любая отдалённая возможность заслуживает беспокойства, если мы можем от неё умереть». В десяти процентах нет ничего «отдалённого», но о достаточно отдалённой возможности не стоило бы думать.

Урок, который мы извлекаем из этой истории: иногда можно понять, что технология вроде цепной ядерной реакции возможна, и так узнать (раньше всех остальных), что мир ждут кардинальные перемены.

Ещё один урок, который мы извлекаем из этой истории: первые интуитивные прикидки часто плохо помогают в предвидении и осмыслении кардинальных перемен. Даже если ты — известный эксперт в соответствующей области, как Энрико Ферми.

Подумайте: откуда вообще у Ферми взялись эти «отдалённая возможность» и «десять процентов»?

Почему Ферми считал, что нельзя заставить радиоактивность вызывать больше радиоактивности в цепной реакции? Неужели лишь потому, что большинство крупных идей не срабатывают?

Ответ «Чушь!», кажется, говорит что-то более сильное. Он отражает ощущение, что эта конкретная большая идея чрезвычайно неправдоподобна. Но почему? На основе какого физического аргумента?

Это просто казалось безумным? Да, возможность ядерного оружия имела бы радикальные последствия для мира. Но реальность иногда допускает события с крупными последствиями.^†

Когда Ферми впервые услышал идею Силарда, он предложил Силарду опубликовать её и рассказать всему миру — включая Германию и её нового канцлера Адольфа Гитлера.

Ферми проиграл этот спор. И хорошо, что так случилось, ведь ядерное оружие в итоге оказалось возможным. Ферми в конце концов присоединился к крошечному заговору Силарда, хотя оставался скептиком почти что до момента, когда уже сам наблюдал за созданием первого ядерного реактора — Чикагской батареи-1.

Иногда технологии переворачивают мир. Если принимать как должное, что радикальные новые технологии — это «чушь», прогресс может застать врасплох. Даже если ты один из умнейших учёных в мире. Большая заслуга Ферми в том, что он сел и поспорил с Силардом. И даже большая заслуга, что он дал убедить себя и изменил поведение до появления технологии. До возможности собственными глазами её увидеть. Когда ещё было не поздно что-то с этим сделать.

За всю историю человечества произошло много ужасного. Но кое-что ужасное не произошло как раз потому, что кто-то сел и поговорил. В некоторых случаях — заставил поговорить, как сделал Силард с Ферми.

Общество может решить, что p(doom) высок из-за беспомощности человечества, тогда как на самом деле он высок из-за бездействия. Разговоры о p(doom) могут превратиться в самосбывающееся пророчество и направят нас к катастрофе, которой можно было избежать.

Ещё у нас сложилось впечатление, что в Кремниевой долине люди обмениваются своими «p(doom)» как бейсбольными карточками, в отрыве от реальности. Если обратить внимание на эту переменную, то даже вероятность всего лишь в 5% убить каждого человека на планете должна быть очевидным поводом для крайней тревоги.

Это куда выше уровня, достаточного, чтобы оправдать немедленное закрытие всей области ИИ. Люди, кажется, удивительно быстро теряют из это из виду, как только у них появляется стрёмная привычка обмениваться значениями p(doom) на вечеринках, будто это забавная научно-фантастическая история, а не утверждение о том, что действительно со всеми нами произойдёт.

Мы тут не говорим, что названные p(doom) близки к реальности. Но их стоит рассматривать как сообщения отраслевых экспертов, что ситуация критическая.

Подобные аргументы, конечно, указывают на ложный вывод. Ферми ошибался насчёт цепных ядерных реакций. С учётом этого, мы бы сказали, что из существования таких аргументов реально извлечь урок:

«Всегда можно придумать как минимум настолько же правдоподобные аргументы против истины».

То, что Земля ещё не взорвалась — не сильное свидетельство в пользу невозможности ядерных реакторов. Инженеры могут специально тщательно расположить атомы, чтобы они распадались. Поэтому такие аргументы не оправдывают столь ошибочных выводов как «Чушь!».