В опросе 2022 года среди 738 участников академических конференций по ИИ NeurIPS и ICML сорок восемь процентов посчитали: есть как минимум десятипроцентная вероятность, что результат развития ИИ будет «крайне плохим (например, вымирание человечества)». Опасения, что ИИ может вызвать беспрецедентную катастрофу, широко распространены в этой области.

Ниже мы собрали комментарии известных учёных и инженеров в области ИИ о его катастрофических последствиях. Некоторые из этих учёных приводят свою «p(doom)» — вероятность, что ИИ вызовет вымирание человечества или столь же катастрофические последствия^*.

Джеффри Хинтон (2024, лауреат Нобелевской премии и премии Тьюринга за то, что запустил революцию глубокого обучения в ИИ), сказал о своих личных оценках^†:

Я на самом деле думаю, что риск [экзистенциальной угрозы] составляет более пятидесяти процентов.

Йошуа Бенджио (2023, лауреат премии Тьюринга (вместе с Хинтоном и Яном ЛеКуном) и самый цитируемый из живущих учёных):

Мы не знаем, сколько у нас времени, прежде чем это станет действительно опасным. Я уже несколько недель говорю: «Пожалуйста, приведите мне аргументы, убедите меня, что нам не стоит волноваться, я буду намного счастливее». Пока этого не случилось. [...] У меня примерно двадцать процентов вероятности, что всё обернётся катастрофой.

Илья Суцкевер (2023, соавтор изобретения AlexNet, бывший главный научный сотрудник OpenAI и (вместе с Хинтоном и Бенджио) один из трёх наиболее цитируемых учёных в области ИИ):

Огромная мощь суперинтеллекта также может быть очень опасной и может привести к перехвату власти у человечества, или даже его вымиранию. Хотя суперинтеллект сейчас кажется далёким, мы считаем, что он может появиться в это десятилетие. [...] Сейчас нас нет решения, как управлять или контролировать потенциальный суперинтеллект, как предотвратить его выход из-под контроля. Наши нынешние методы согласования ИИ, такие как обучение с подкреплением на основе человеческой обратной связи, полагаются на способность людей контролировать ИИ. Но люди не смогут надёжно контролировать ИИ-системы намного умнее нас, поэтому наши нынешние методы согласования не масштабируются для суперинтеллекта. Нам нужны новые научные и технические прорывы.

Ян Лейке (2023, соруководитель научного направления по согласованию в Anthropic и бывший соруководитель команды суперсогласования в OpenAI):

[интервьюер: «Я не тратил много времени на точное определение моей личной p(doom). Думаю, больше десяти процентов и меньше девяноста процентов».] [Лейк:] Наверное, я назвал бы тот же диапазон.

Пол Кристиано (2023, руководитель отдела безопасности Института безопасности ИИ США (на базе NIST) и изобретатель обучения с подкреплением на основе человеческой обратной связи (RLHF):

Вероятность, что большинство людей погибнет в течение 10 лет после создания мощного (достаточно мощного, чтобы сделать человеческий труд устаревшим) ИИ: 20% [...]

Вероятность, что будущее человечества каким-то образом необратимо испортится в течение 10 лет после создания мощного ИИ: 46%

Стюарт Рассел (2025, заведующий инженерной кафедрой имени Смита-Заде в Калифорнийском университете в Беркли и соавтор ведущего учебника по ИИ для студентов «Искусственный интеллект: современный подход»):

«Гонка к СИИ» между компаниями и между нациями в некотором роде похожа [на гонку времён холодной войны по созданию всё более мощных ядерных бомб], только хуже. Даже генеральные директора компаний, участвующих в гонке, заявляли, что у победителя есть значительная вероятность вызвать вымирание человечества, потому что мы понятия не имеем, как контролировать системы умнее нас самих. Иными словами, гонка к СИИ — это гонка к краю пропасти.

Виктория Краковна (2023, научный сотрудник Google DeepMind и соучредитель Future of Life Institute):

[интервьюер: «Об этом не очень приятно думать, но какова, по вашему мнению, вероятность того, что Виктория Краковна умрёт от ИИ до 2100 года?»] [Краковна:] Ну, 2100 год очень далеко, особенно учитывая, как быстро развивается технология прямо сейчас. Навскидку я бы сказала процентов двадцать или что-то в этом роде.

Шейн Легг (2011, соучредитель и главный учёный по СИИ в Google DeepMind):

[интервьюер: «Какую вероятность вы приписываете возможности плохих/очень плохих последствий в результате неправильно сделанного ИИ? [...] Где «плохие» = вымирание человечества; «очень плохие» = всех людей пытают»]

[Легг:] В течение года после появления чего-то вроде ИИ человеческого уровня [...] я не знаю. Может быть, пять процентов, может быть, пятьдесят процентов. Не думаю, что у кого-то есть хорошая оценка. Если под страданиями вы имеете в виду длительные страдания, то считаю это довольно маловероятным. Если бы сверхразумная машина (или любой другой сверхразумный агент) решила избавиться от нас, думаю, она сделала бы это довольно эффективно.

Эмад Мостак (2024, основатель Stability AI, компании, создавшей Stable Diffusion):

Моя p(doom) составляет 50%. Без указания периода времени вероятность, что системы способнее людей, вероятно, в итоге управляющие всей нашей критической инфраструктурой, нас всех уничтожат — как подбрасывание монетки. Особенно учитывая подход, которого мы сейчас придерживаемся.

Дэниел Кокотайло (2023, специалист по регуляции ИИ, информатор из OpenAI и исполнительный директор AI Futures Project):

Думаю, гибель от ИИ вероятна на 70%, и считаю, что те, кто думает, что меньше, скажем, 20%, — очень неразумны.

Дэн Хендрикс (2023, исследователь машинного обучения и директор Center for AI Safety):

Моя p(doom) > 80%, но раньше она была ниже. Два года назад она была \~20%.

Все перечисленные исследователи подписали заявление о рисках ИИ, которым мы открыли книгу:

Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом подобно другим всеобщим рискам, таким как пандемии или ядерная война.

Некоторые другие известные исследователи, подписавшие заявление: архитектор ChatGPT Джон Шульман; бывший директор исследований Google Питер Норвиг; главный научный сотрудник Microsoft Эрик Хорвиц; руководитель исследований AlphaGo Дэвид Сильвер; один из изобретателей AutoML Франк Хуттер; один из изобретателей обучения с подкреплением Эндрю Барто; изобретатель GAN Ян Гудфеллоу; бывший президент Baidu Я-Цинь Чжан; изобретатель криптографии с открытым ключом Мартин Хеллман; руководитель исследований Vision Transformer Алексей Досовицкий. Список продолжается другими подписантами: Дон Сон, Яша Соль-Дикштейн, Дэвид МакАллестер, Крис Ола, Бин Ким, Филип Торр и сотни других.