Рабочие планы будут подразумевать отказы ИИ-компаниям
Мы хотим предостеречь влиятельных чиновников: не стройте планы, где нужно садиться за стол переговоров с этими компаниями.
Если вы новичок в теме и хотите ознакомиться с лабораториями и их доводами, почитайте их блоги. Посмотрите, насколько они для вас убедительны.*
Но если вы работаете над решением описанных нами проблем, и ваш план требует согласия Сэма Альтмана из OpenAI... вы уже пытаетесь сделать что-то не то.
Скорее всего, руководители ИИ-компаний будут яростно возражать против хороших планов. Более того, у Сэма Альтмана нет власти спасти мир. Если он завтра попытается закрыть OpenAI, сама компания и Microsoft будут против. Скорее всего, его заменят, чтобы деньги продолжали течь.
А если OpenAI таки закроется, вместо неё мир уничтожат Anthropic, Google DeepMind, Meta, DeepSeek или ещё какая компания или государство. Альтман может попробовать всё испортить. А вот власти изменить всё к лучшему у него мало.
А ещё, мы хотели бы ошибаться, но общая картина из публичных отчётов и личных бесед показывает, что во главе топовых ИИ-компаний (на 2025 год) стоят не самые честные и соблюдающие правила люди. Вряд ли с ними реально заключить работающее соглашение.†
Мы считаем, что нужна глобальная скоординированная остановка гонки к суперинтеллекту. Для этого политикам, вероятно, понадобятся советы специалистов. По производству ИИ-чипов, по строительству дата-центров, по мониторингу иностранных игроков. А по выращиванию всё более мощных ИИ? Они, конечно, компетентные управляющие. Но у них не должно быть права вето на попытки прикрыть их же работу.
Если ИИ-компании каким-то образом получат право голоса в этом вопросе, значит, что-то пошло не так. Если план человечества, как не умереть от суперинтеллекта, рухнет при отказе Сэма Альтмана или главы Google или людей из DeepSeek — это вообще не план.
А если у ИИ-компаний остаётся власть уничтожить мир, если решение принимают они — конец света происходит автоматически. План должен лишать ИИ-компании неограниченной власти строить машины судного дня.
* По нашему опыту, там много пиара и мало сути. Они часто втихую переключаются между противоречивыми заявлениями в зависимости от моды или политической выгоды момента. Нет ощущения, что это честные и прозрачные описания взглядов даже самих глав лабораторий, чем они невыгодно отличаются от мнений несогласных. Но это мы. Подходя к вопросу со свежим взглядом и желая самостоятельно оценить, есть ли у других сторон веские контраргументы (которые мы здесь не разобрали), не верьте нам на слово в выборе лучших источников.
† Если вам всё же нужно мнение главы лаборатории и вы спросите нашего совета, мы назовём Демиса Хассабиса наименее плохим вариантом. Из ведущих руководителей, с которыми хотя бы один из нас общался (на 2025 год — из всех), Хассабис — единственный, кто, похоже, держит слово. И он, кажется, принимал меньше разрушительных решений.
Впрочем, это чисто относительная и не очень уверенная рекомендация. При абсолютном сравнении любой, кто не основал компанию с значительной вероятностью уничтожения мира, имеет огромную фору доверия перед главами лабораторий. Мы точно слышали истории людей, которые так боялись Хассабиса, что им пришлось основать собственные передовые ИИ-компании, чтобы его опередить. Возможно, они знают что-то, чего не знаем мы.
Наша главная рекомендация политикам: если вы убеждены в опасности, не давайте никакого влияния главам лабораторий.
Говорите с независимыми исследователями. С бизнес-лидерами, не участвующими в гонке. Со сторонними учёными, славящимися разумными словами и делами в этой сфере. Не подставляйтесь людям, чья главная отличительная черта — лгать общественности и подвергать людей опасности.