Нет.

В книге мы обосновывали, почему спешка в разработке ИИ, очень вероятно, нас погубит. В третьей главе мы говорили, что у ИИ возникнут собственные побуждения и цели. В четвёртой и пятой — почему ИИ, скорее всего, будет стремиться к никем не запланированным результатам. А в шестой — откуда у машинных суперинтеллектов возьмётся не только мотивация, но и средства, чтобы нас уничтожить.

Очень просим, решая, нужно ли остановить гонку к суперинтеллекту, оценивать именно аргументы такого рода. Нельзя понять, гибельны ли исследования ИИ, обсуждая интриги корпоративных боссов.

Пытаются ли руководители компаний раздуть хайп упоминаниями «рисков ИИ»?

Или пытаются подыграть встревоженным исследователям и законодателям, выставить себя «хорошими парнями»?

Эти вопросы — не о том, как будут вести себя умные машины.

Даже если допустить, что лидеры ИИ-компаний жаждут использовать дискуссии об опасности для рекламы своих продуктов, это не значит, что их работа безвредна. Чтобы оценить опасность, нужно смотреть на ИИ как на технологию. Не на пресс-релизы лабораторий.

Задолго до появления этих компаний исследователи и учёные безо всякой финансовой заинтересованности (включая нас) предупреждали об опасности гонки к ИИ умнее человека. Ещё до основания OpenAI мы разговаривали с Сэмом Альтманом и Илоном Маском. Мы говорили им, что запуск этой компании кажется глупостью. Что, очень вероятно, это лишь усилит угрозу. Мы общались с Дарио Амодеем до его прихода в OpenAI и отговаривали его от одержимости масштабированием ИИ — проекта, который в итоге и привёл к созданию LLM.

Если послушать, что говорят сегодня, то беспокойство выражают многие люди, не связанные с корпорациями. От уважаемыхучёных и покойного Папы Римского до председателя Федеральной торговой комиссии^* и членов КонгрессаСША.

Вполне оправдан некоторый цинизм в отношении того, что говорят техномиллиардеры. Примеров двуличия руководителей ИИ-компаний немало. Они в личных блогах пишут одно, а на слушаниях в Конгрессе говорят другое. Но очень странно делать из тезиса «Главы этих лабораторий — лжецы» вывод «ИИ точно не представляет серьёзной угрозы». Особенно учитывая, что лаборатории обычно эту проблему преуменьшают. Награждённый Нобелевской премией «крёстный отец» ИИ, самый цитируемый из ныне живущих учёных, постоянный поток разоблачителей и сотни явно нервничающих исследователей — все они бьют тревогу. Ситуация совершенно не похожа на повседневный корпоративный хайп. Так что отмахиваться от идеи, даже не разобравшись в аргументах, — скорее наивность, чем цинизм.

Вопросы вроде «Могут ли компании привлечь больше денег разговорами об угрозах?» помогают оценить, насколько стоит доверять этим людям. Но они ничего не говорят о самих угрозах. Если обсуждать опасность выгодно, это не значит, что её нет. Если невыгодно — тоже.

Чтобы понять, реальна ли угроза, нужно задавать вопросы вроде: «Может ли кто-то создать ИИ, который вёл бы себя дружелюбно даже став умнее человека?». Оценивать доводы о технологии, а не о причастных к ней людях. Мы очень просим вас воспринимать аргументы. Цена ошибки слишком высока.