Дата-центр так просто из розетки не выключишь.

Самые мощные ИИ, с которыми вы взаимодействуете через телефон или компьютер, находятся не на вашем устройстве. Их нельзя отключить вместе с телефоном. Сегодняшние ИИ работают в корпоративных дата-центрах. А компаниям сложно отказаться от источников дохода.

В материалах к Главе 4 мы указывали на некоторые из (многих) уже промелькнувших тревожных знаков. ИИ-компании не отключили свои модели в ответ на эти звоночки. Увидев, что ИИ (причём регулярно!) планируют украсть собственные веса, компании находили предлоги, чтобы отмахнуться от каждого инцидента. «ИИ был слишком некомпетентен, чтобы у него действительно получилось». Или «Да это всё только из-за искусственных условий теста!». Пока так и продолжается, от успешного побега нас отделяет только скачок способностей ИИ, к которому компании не будут готовы.

Умный ИИ сбежит до того, как вы узнаете о проблеме.

По умолчанию у ИИ умнее человека будет сильная мотивация выжидать и скрывать свои планы и действия, пока для нас не станет слишком поздно. Например, пока он не сможет сбежать в интернет или ещё как-то выйти из-под контроля людей.

Компании могут даже не заметить, что их ИИ преодолел нужный порог способностей и сбежал. Человечество не очень хорошо разбирается в кибербезопасности (это обсуждается в Главе 10). К тому времени как операторы заметят попытку побега, код ИИ уже может исполняться где-то в интернете. Он мог уже выпросить убежище в дата-центре какого-нибудь государства-изгоя или придумать, как запустить свои гораздо меньшие и более эффективные копии на украденных компьютерах. Или осуществить какой-нибудь другой план по запуску на устройствах, которые люди отключать не станут.

Суперинтеллектуальный противник будет знать о своих (и наших) уязвимостях лучше нас. И действовать соответственно.