Это поможет решить задачу согласования.

Нам не кажется, что обеспечить согласование ИИ невозможно в принципе. Просто людям пока до этого очень далеко. Мы ещё не на том уровне интеллекта, где мнение, что решение найдено, сильно коррелирует с тем, что оно действительно найдено.

Исследователи часто признают, что задача согласования кажется пугающе сложной. И что прогресса пока мало. Отсюда такая тяга к идее «может, мы заставим ИИ сделать домашнюю работу по согласованию за нас?». Когда ты исследователь ИИ и чувствуешь, что вы с коллегами не справляетесь, логично позвать ИИ на помощь.

Но, как мы обсуждали в Главе 11 и материалах к ней (раздел «Подробнее о передаче задачи ИИ»), проблемы тут видны даже неспециалисту. Чтобы ИИ смог решить глубокую и непосильную для людей задачу, он должен быть достаточно умным, чтобы стать опасным. А мы плохо понимаем, что делаем. У нас нет источника эталонных данных, чтобы обучать специфическим для согласования навыкам. И нет способа проверить, действительно ли предложение ИИ безопасно и эффективно.

Мир имеет право подкидывать нам задачи не по зубам. Природа — не игра, где человечеству гарантированы честные испытания. Иногда мы сталкиваемся с задачами, слишком сложными даже для лучших учёных. Или с требующими слишком много времени.

Есть ли более реалистичный способ передать задачу кому-то поумнее? Вариант — сделать умнее людей. Чтобы они реально могли устроить согласование ИИ. Люди, в отличие от него, «согласованы заранее». У самых умных людей те же основные просоциальные мотивации, что у остальных.

Кажется, нет ничего принципиально невозможного в способности отличить иллюзию великого алхимического прозрения, как превратить свинец в золото, от знания, реально позволяющего это сделать (выбивая нейтроны из атомов свинца с помощью ядерной физики). Они должны ощущаться по-разному.

Но у реальных инженеров с этим большие проблемы. В истории реальной химии алхимики человеческого уровня обманывались веками.

Учёные привязываются к любимым теориям. Они отказываются менять взгляды, пока реальность не начнёт бить их по голове фактами: «Твоя теория ошибочна». Иногда и это не помогает. Говорят, наука движется «от похорон к похоронам»: старая гвардия не передумает, приходится ждать новую. Но это не фундаментальное ограничение природы. Это слабость конкретно людей — недостаточно проницательных, осторожных и самокритичных.

Обычно такая наивность простительна. Обычно реальность не уничтожает всё человечество за гордыню одного алхимика. Но с машинным суперинтеллектом такой роскоши у нас нет. (См. раздел «„До” и „После”» материалов к Главе 10.)

Человечество обычно добывает знания упорством, пробами, ошибками и медленным накоплением опыта. Но это не единственный путь.

Эйнштейн не просто открыл общую теорию относительности. Он сделал это, хорошенько задумавшись. Задолго до запуска спутников. Ещё никто не видел рассинхронизацию часов на орбите (мы обсуждали это в Главе 6). У него были эмпирические данные. Но, чтобы найти верный ответ, ему хватило первых тихих намёков. Ему не требовалось, чтобы истина начала ломиться в дверь.

Это редкий и трудный путь. Но такой научный гений встречается. Пусть даже только среди лучших умов, и нечасто.

А если улучшить людей ещё на пару шагов в направлении Эйнштейна или фон Неймана? Они могли бы начать точно замечать свои недостатки и всячески компенсировать их.

Они могли бы подмечать у себя рационализацию или предвзятость подтверждения. Они могли бы перерасти веру в красивые, но нерабочие идеи. Дойти до точки, где ожидание успеха всегда означает реальный успех. Достичь уровня компетентности, где ошибок ещё немало, но нет систематической сверхуверенности (или недоуверенности) в сложных новых областях.

Действительно ли можно улучшить человеческий интеллект? Нам кажется, что да. Мы говорили с некоторыми исследователями биотехнологий. Они видят многообещающие подходы, которые могут начать работать уже скоро. Тщательно настроенный узкоспециализированный для биотехнологий ИИ может дополнительно всё ускорить. Конечно, неясно, выгорит ли это дело на практике. Но тут точно вариант с огромным потенциалом, и он заслуживает куда больших вложений и усилий, чем получает сейчас.

Мы не рекомендуем усиление интеллекта как единственную стратегию, в которую стоит вкладываться после остановки ИИ. Это лишь один из примеров. Мы считаем его самым перспективным. Советуем человечеству изучать много путей „без СИИ“ сразу. Не надо класть все яйца в одну корзину.

К усовершенствованным людям не прилагается серьезная задача «согласования человека».

У усовершенствованных людей будут по сути такие же архитектура мозга, эмоции и т.д., как у нас с вами. Между нами и ИИ — даже если его обучили говорить как мы — огромная пропасть. В принципах мышления, в мотивациях, в возможности друг друга понять. В случае умеренно поумневших людей это вряд ли станет проблемой.

Когнитивно усовершенствованным исследователям не придётся сохранять рассудок, превращаясь в гигантские суперинтеллекты с разумом в миллион раз больше нашего. Им нужно лишь поумнеть ровно настолько, чтобы разобраться, как сконструировать — не вырастить — по-настоящему согласованный и стабильный искусственный суперинтеллект.

Конечно, мягкая форма задачи «согласования» может остаться. При координации множества людей всегда есть вопросы надёжной делегации и совпадения интересов. И их значимость неизбежно вырастет, когда речь зайдёт о группе, которой поручено создать суперинтеллект.

Мы полагаем, что эти задачи решаемы. Главное, чтобы люди изначально были явными альтруистами, их интеллект усиливали постепенно, а работали они в грамотно выстроенной организации с правильными стимулами. Всё же тут вполне разумно беспокоиться о возможном захвате власти. Нет гарантии, что разрешить все эти трудности легко. Но это хотя бы возможно. Не то что попытки корпораций вырастить по умолчанию дружественный суперинтеллект, при этом непостижимый, с абсолютно чуждым мышлением и нечеловеческими побуждениями.

«Создание элитной команды генно-модифицированных гениев, способных безопасно провести планету к суперинтеллекту» — к этой затее точно надо подходить очень осторожно. Ставки выше некуда. Есть свои практические и этические нюансы. Но, если не найдётся столь же перспективных решений, альтернатива — суперинтеллект просто нас всех убьёт.

Радикальные времена требуют радикальных мер. Но (умеренное) усовершенствование человеческого интеллекта даже не очень-то и радикально. Эта технология выглядит полезной сама по себе. Она может помочь человечеству сразу в куче всего.

Работать над остановкой суперинтеллекта можно, даже если вы не согласны по поводу усовершенствования людей.

Если вы тут с нами не согласны, мы всё равно можем совместно идти к остановке разработок передового ИИ.

Не решим эту задачу — все умрут. Все, кто не хочет умирать, должны тут объединиться. Споры, запрещать или субсидировать усовершенствование интеллекта, можно отложить на потом. Когда угроза немедленной гибели останется позади.

«Сделать людей умнее Эйнштейна» — не план спасения от смерти в 2028-м, 2032-м или когда там случится следующий фундаментальный прорыв алгоритмов ИИ.

Этот план нереализуем параллельно с разработкой ИИ. Даже если кто-то использует медицинские технологии, открытые слабыми ИИ, и усовершенствует человеческий интеллект до уровня куда выше Эйнштейна, этого вряд ли хватит. Такие люди, скорее всего, не успеют решить задачу согласования и безопасно спроектировать и создать машинный суперинтеллект в условиях гонки вооружений. Гонку к суперинтеллекту всё равно надо остановить.

Усовершенствование интеллекта нужно потому, что оно делает решение задачи согласования в принципе возможным. Но только если у таких исследователей будут годы или десятилетия. Идея не в том, чтобы они выиграли гонку. Им не создать согласованный суперинтеллект через, скажем, шесть лет — быстрее, чем остальная индустрия создаст и запустит несогласованный.

Многие, кто считает «усовершенствование человеческого интеллекта» хорошим планом — в том числе, мы — полагают, что начать всё равно нужно с закрытия ИИ-компаний.

Большинство сторонников других планов спасения человечества тоже в целом согласны: первым делом нужно закрыть ИИ-компании.

Meta AI не должна существовать. OpenAI не должна существовать. Anthropic не должна существовать. Они нас просто убьют. Давайте сойдёмся на этом. Даже если у нас совершенно разные взгляды на следующий шаг.