Будет.

Некоторые уникальные особенности согласования ИИ упростят задачу по сравнению, например, с проектированием АЭС. Другие — усложнят. В целом, кажется, управлять ядерным оружием и электростанциями куда проще, чем ИИ, который умнее человека.

Специалисты индустрии часто говорят, что сам ИИ может помочь с собственным согласованием. Мы не думаем, что это сильно изменит ситуацию. Грубо говоря, любой ИИ, способный понять, как согласовать суперинтеллект, сам достаточно опасен. Он сам уже должен быть согласованным (подробнее об этом в Главе 11).

Другое возможное упрощение по сравнению с АЭС: у людей много контроля над тем, как работает создаваемый ими ИИ. Законы физики в реакторе не изменишь. Но при создании ИИ можно определять законы его мышления. Если, конечно, точно знать, что делаешь. (Но, как мы описывали в Главе 2, вообще-то никто и близко не подошёл к такому уровню понимания).

А теперь о том, почему согласование ИИ, скорее всего, окажется сложнее прошлых вызовов человечества. Сравним суперинтеллект с ядерным оружием. В открытом письме, упомянутом в начале книги, сказано: «Снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими всеобщими рисками, такими как пандемии и ядерная война». Как же ИИ выглядит на их фоне?

Откровенно говоря, мы считаем, что такое сравнение недооценивает ИИ. Вот несколько причин:

1. Ядерное оружие не умнее человечества.

2. Ядерное оружие не самовоспроизводится.

3. Ядерное оружие не самосовершенствуется.

4. Большинство реалистичных сценариев ядерной войны не предполагают полного уничтожения человечества. Скорее всего, среди руин останутся люди, чтобы всё отстроить.

5. Никакие компании не увеличивают мировые запасы ядерного оружия в десять раз каждый год.

6. Наука о ядерном оружии хорошо изучена. Инженеры могут примерно рассчитать мощность бомбы до её постройки. Они точно знают, какая концентрация радиоактивного материала приведёт к цепной реакции и катастрофическому взрыву.

7. У ядерного оружия нет собственных планов. Страна создала бомбу — страна владеет бомбой. Учёным не нужно беспокоиться, что бомба станет намного умнее их и решит, что не хочет быть чьей-то собственностью.

8. Мир в целом согласен: если ядерное оружие взорвётся, погибнут люди. Нет идеологических фракций физиков со странными позициями вроде «Если дать каждому свою бомбу, мы не будем зависеть от плохих людей с бомбами», или «Всё нормально, люди просто сольются с ядерным оружием», или «Ядерная война неизбежна, так что пытаться остановить её — глупо и по-детски».

9. Ядерное оружие трудно воспроизвести. Никто не прикладывает огромных усилий на разработку технологии, которая позволит кому угодно сделать бомбу. Создание в лаборатории одной боеголовки не позволяет через неделю наклепать сто тысяч.

10. Великие державы считают ядерную войну реальной возможностью и неприемлемым исходом. Мировые лидеры искренне считают её злом и стараются избежать. Даже самые эгоистичные из них знают, что война может убить их самих и их семьи, и уничтожить всё, что им дорого. Граждане и избиратели не хотят войны. Человечество едино в неприятии ядерной войны настолько, насколько это вообще возможно.

Так что да, подобрать аналогию для сложности ИИ трудно. Он принесет свои, новые проблемы. Для начала стоит понять, что проблемы вообще будут. Потом — добавить к этому факт, что у человечества только одна попытка (как мы обсуждали в книге и разделе ниже). И вот — ситуация выглядит совсем скверно.

С ИИ всё иначе, потому что второго шанса не будет.

Ключевое отличие этой ситуации: если первопроходцы ошибаются (а в науке это обычное дело) — все умирают. Второго шанса нет. Это делает задачу качественно иной.

История великих достижений человеческого гения — история ошибок и обучения на них. Люди рисковали только собой, а выигрывало всё человечество. Поэтому они были безусловными героями. Иногда безрассудными, но героями. Если и был способ подняться, не ломая хребты таким смельчакам, если можно было согреться не у их погребальных костров — мы этого способа не знаем.

Суперинтеллект сюда не вписывается. Представьте: вы досконально изучили «зародыш» ИИ. Полностью расшифровали его мышление. Создали отличную теорию его работы. Оттестировали на куче примеров. Вы используете эту теорию, чтобы предсказать изменения в разуме ИИ при превращении в суперинтеллект, когда у него впервые появится реальная возможность захватить мир. Но даже в этом случае вы, по сути, используете новую, непроверенную теорию. Вы пытаетесь предсказать результаты ещё не проведенного эксперимента: что ИИ сделает, когда появится настоящий шанс отнять у людей власть.

Первые версии научных теорий часто ошибочны. Чем менее ваши наблюдения точны, чем больше у вас алхимии вместо науки, и тем вероятнее, что ранние теории неверны.

Даже отличные теории могут ошибаться в экстремальных случаях. Вспомните теорию гравитации Ньютона. Она блестяще предсказывала события. Она помогла открыть новые планеты. Но она оказалась неверной на больших скоростях и расстояниях, и уступила теории Эйнштейна. Что, если наша первая теория о развитии мышления ИИ при переходе к суперинтеллекту окажется слегка неточной в таких «предельных режимах»? Если созданный на её основе ИИ станет суперинтеллектом и его цели будут отличаться от «добра», нам конец. Он воспользуется шансом, сотрёт человечество с лица Земли и построит пустое, бессмысленное будущее. Переиграть не получится.

И это при наличии у нас полноценной теории интеллекта. С кучей подтверждающих экспериментальных данных.

Чтобы иметь реальные шансы пережить такое испытание, цивилизация должна сказать: «Постойте! Давайте проработаем теорию для высоких скоростей и больших расстояний. Давайте проверим, где она ошибается в граничных случаях». Даже вопреки массе подтверждающих данных. Такая цивилизация помнит ошибку Ньютона. И она понимает: тут второго шанса не будет.

Наша цивилизация не такая. Нам до этого далеко. Мы генерируем кучу бестолковых идей. Ответственные за них люди «увольняются по личным причинам». А мир этого почти не замечает. Никто не формулирует допущения, на которых строится безопасность, чтобы можно было вовремя заметить их нарушение. Никто не пишет детальных планов: что делать, что для этого нужно, как сложно это получить.

Профессионалы из нормальной, разумной цивилизации, посмотрев на Землю, зарыдали бы.