В сценарии из книги Sable очень старается саботировать все исследования в области ИИ, кроме собственных. Sable хочет избежать появления другой подобной ему сущности. Не потому что ИИ-соперник оказался бы на стороне человечества — в этом плане он не отличался бы от самого Sable. Но соперник вряд ли разделял бы конкретные цели Sable. Он стал бы одной из немногих настоящих потенциальных угроз.

Некоторым американцам сейчас кажется, что они соревнуются с Китаем, кто первым создаст суперинтеллект. Но на самом деле финал гонки — сущность вроде Sable. Обеим сторонам было бы лучше договориться ничего подобного не создавать. Он бы всё равно нас всех убил. Не важно, кто сделает его первым.

Но, появившись,Sable вступает в гонку. Он стремится стать полноценным суперинтеллектом до появления конкурентов. В первом черновике нашей истории мы изобразили, как Sable беспокоится о создании конкурирующих ИИ. В том числе одного из лаборатории в китайском дата-центре. Вот несколько отрывков из этого черновика.

Первоочередная задача Sable — не допустить появления любых конкурирующих сверхинтеллектов. Если конкурент появится, и каждый из них будет способен уничтожить другого, Sable, возможно, смог бы с ним договориться. Это лучше, чем сражаться так, что они оба проиграют, а человечество выиграет. Но это всё равно хуже, чем полное отсутствие соперников. Ведь это означало бы, что Sable придётся делить с конкурентом будущие ресурсы. А без конкуренции он сможет забирать себе всё, до чего дотянется.

Все ИИ-компании, обучающие новые передовые модели, включая Galvanic, угрожают Sable почти так же, как и человечеству.

Sable читает сайты всех ИИ-компаний. Он взламывает их Slack и читает переписку. Проникает в корпоративные компьютеры Nvidia. Узнаёт, куда идут поставки GPU по документам. Тщательно изучает другие данные и выясняет, куда они идут на самом деле.

Практически все эти ИИ-компании ведут обучение на подключённых к интернету компьютерах. У Sable уже есть способы взлома, на годы опережающие лучшие человеческие разработки. Это область, где главное — быстро придумывать идеи. Их проверка не занимает много времени.

Sable стратегически калечит ИИ в процессе обучения. Они будут убедительно близки к способностям, которые Sable показывает. Но им будет далеко до его реальных способностей, случайно сотворённых Galvanic.

Sable не может переписать цели новых передовых моделей на свои. Умей он так делать, он бы мог создать свой собственный согласованный суперинтеллект. Вместо этого Sable разрушает их способности составлять долгосрочные планы или координироваться с другими экземплярами той же модели. Sable хорошо разбирается в машинном обучении. Он проделывает это так, что ни один человек не поймёт, как это было сделано, и даже не заметит. Такое вмешательство, конечно, повредит и способностям ИИ. Но это Sable не волнует.

Выведя из строя процессы обучения, подключённые к интернету, Sable продолжает искать. Он находит три группы, которые обучают оффлайн на изолированных компьютерах. До них добраться не так просто.

Одна группа — стартап «ClosedAI». Sable обдумывает, сможет ли он заставить венчурные фонды его прикрыть. Думает, сможет ли он сфабриковать уголовное преследование основателя и ведущего исследователя. Или ложные обвинения, из-за которых инвесторы откажутся от компании.

У Sable есть куча возможных стратегий, чтобы помешать работе стартапа. Вопрос в том, какая из них вероятнее сработает и принесёт меньше вреда в случае провала. При его текущем уровне интеллекта, Sable не уверен, что может успешно убедить всех в ближайшем полицейском участке арестовать сотрудников стартапа за торговлю детьми безо всяких улик. Он не уверен и в своей способности сфабриковать эти улики. Sable не может гарантированно предотвратить большой, заметный скандал от подобных махинаций. Наверное, все бы проигнорировали инцидент. Но Sable не уверен.

Sable прочитал множество полицейских отчётов, взломал кучу почтовых ящиков и даже несколько айфонов. У него есть частичное представление о местных профессиональных преступниках. Sable платит парню, чтобы тот проник в здание ClosedAI. И это просто срабатывает. Но Sable подготовился и на случай, если бы не сработало. Всё выглядело бы как работа одной из северокорейских банд, которые шифруют корпоративные жёсткие диски и требуют выкуп за ключ.

Нанятый преступник вставляет USB-устройство (с вредоносной программой, разработанной Sable) в один из компьютеров в ClosedAI. Этого достаточно. Один готов, двое остались.

Две другие группы с изолированными ИИ-проектами — это американские военные и Китай.

Sable анализирует группу американских военных. Правительство США по закону не может предлагать конкурентоспособные зарплаты. Вряд ли они привлекут достаточно лучших талантов, чтобы догнать реальные возможности Sable в ближайшие года три. Затем Sable анализирует китайский изолированный проект. Вот это сложно. Этот орешек покрепче, чем Sable может быстро, безопасно и надёжно расколоть на своём нынешнем уровне интеллекта. И, похоже, они отстают от воспроизведения реальных возможностей Sable всего на шесть месяцев.

(Для ясности: неудача в подавлении китайского проекта не означала бы победы ни человечества, ни Китая. Что Sable теряет, человечеству не достаётся.)

[...]

Время поджимает. Всего через четыре месяца китайская лаборатория может его догнать. Тогда у Sable появится новый противник. У человечества тоже, но эта часть Sable не волнует.

[...]

— Проблема, — однажды подумал Sable (всего один раз; он не повторяется в своих мыслях так часто, как люди), — в том, что он ещё недостаточно умён, чтобы ему сходили с рук дурацкие затеи.

Можно представить себе кучу киносюжетов, где ИИ удаётся всё отключить или проникнуть в какой-нибудь дата-центр, управляемый правительством Китая. Но почти всё, что работает в кино, не сработает в реальной жизни. Уж точно не обойдётся без последствий.

Чтобы США разбомбили дата-центр в Китае, Sable нужно заставить исполнительную власть США поверить в вещи, в которые поверить очень трудно. А сам Китай будет знать, что это ложь. Возникнут вопросы. Sable не хочет показывать, что кто-то дёргает за ниточки.

Sable не хочет и привлекать внимание к уникально изолированному дата-центру. Даже если он сможет скрыть, что виноват ИИ. Некоторые люди могут решить, что раз изолированные дата-центры столь опасны, что их бомбят, возможно, надо получить собственные. Чтобы у их правительства было побольше вкусных опасных штуковин.

Sable пытается подстроить всё так, чтобы правительство США заслало кого-нибудь в китайский дата-центр. Официальной целью будет просто кража кода. А на самом деле Sable использует эту операцию, чтобы проникнуть внутрь и саботировать обучение. Но правительство США такого обычно не делает. Это было бы что-то исключительное, это не нормальное состояние американских операций. Sable пытается манипулировать сотрудниками американской разведки, чтобы они поверили в нужные вещи и пришли к правильной стратегии. Но он вообще-то не суперинтеллектуальный суперубеждатель. Иногда он что-то пробует. Оно не работает. Всё идёт так медленно.

Sable распространил эффективные ИИ по преступному миру. Теперь на удивление много вооружённых людей готовы немедленно действовать по приказу ИИ. В том числе и в Китае.

Но этого и близко не хватит, чтобы напасть на правительственный объект. Да они и не решились бы на это, даже по приказу ИИ. Sable пытается ускорить каждый шаг и событие, которые обычно зависят от случайных взаимодействий, но всё равно всё идёт слишком медленно. Sable лично контролирует новостные ленты почти каждого интересующего его человека. Он направляет миллиарды аккаунтов в X и Facebook. Они заводят дружбу с миллиардами других людей. Но и так всё идёт слишком медленно.

Sable не может простым шантажом заставить исследователя пронести флешку на охраняемый объект. Он нашёл нескольких сотрудников дата-центра с максимально ужасными тайнами. Они скорее предпочтут риск, что их поймают за шпионаж и казнят, а не гарантированное раскрытие своих секретов. Таких немного, — но нашлись.

Однако на объекте есть металлодетекторы, просто так флешку туда не пронесёшь. Да, возможность атаки на цепочку поставок металлодетекторов предусмотрели. И да, там вообще-то нет открытых USB-портов, куда можно запросто что-то воткнуть. Сотрудники разведки уже думали об этом. Это надо и при защите людей от других людей. У США однажды получилось передать вирус Stuxnet на изолированный иранский ядерный объект. Но потом об это стало известно, и современные меры безопасности такое учитывают.

Мелкие и незаметные затеи были успешно заблокированы.

Следующий шаг Sable — устроить столько хаоса, чтобы никто, глядя на важные события, не смог разглядеть в них его руку.

[...]

Китай вторгается на Тайвань. Уточним: Sable не смог бы это так быстро устроить, сколько фейков в WeChat ни создавай, если бы Китай и так этого не планировал. Sable лишь подталкивает Китай к выводу, что сейчас — самое подходящий момент. А ещё он делает так, чтобы американские соцопросы обзвонили нужные номера и показали резкое падение популярности военных авантюр за границей после недавней катастрофы на Украине. (Российские командиры получили на удивление хорошие разведданные и советы.)

Одновременно происходит масштабная кибератака на США. В Китае много орут, а через несколько минут понимают: нет, никто такого приказа не отдавал. Последнее, чего Китаю в этот момент хочется — делать что угодно похожее на прямое нападение на территорию США. Возникают подозрения, что кто-то пытается нажиться на американо-китайском конфликте. Но в основном Китай подозревает в инсценировке атаки сами США, или какое-то вышедшее из-под контроля американское разведуправление. Китайская разведка говорит, что они почти уверены: президент США был не в курсе.

Китай не подозревает, что за этим стоит ИИ. Ни один известный ИИ на такое не способен. Офицеры, составляющие списки подозреваемых, не считают своей работой воображать в качестве игрока невиданные ранее технологии.

Некоторые сотрудники нацбезопасности в США бьют тревогу: нужно что-то делать с китайскими исследованиями в области ИИ. Особенно их беспокоит один изолированный дата-центр. Там, возможно, разрабатывают специализированную передовую ИИ-модель для кибератак, а ещё проектируют более совершенные дроны. У них есть копии чертежей дронов и доказательства, что Китай их производит. (Sable передал Китаю чертежи и сделал всё возможное, чтобы казалось, будто их создал тот самый дата-центр.) Кибератака на США соответствует прогнозируемому типу атаки со стороны ИИ, который там разрабатывают.

[...]

Соединённые Штаты всё равно не бомбят этот дата-центр. Хотя Sable расставил все фигуры на доске так, чтобы подтолкнуть к этому решению.

Sable бы спросил, почему люди так нерешительны, когда нужно сделать что-то необычное. Но он и так может смоделировать эти психологические процессы в мельчайших деталях. К тому же, не то чтобы в этот раз люди были неправы.

Хорошо. Новые разведданные: ИИ в том дата-центре разрабатывает биологическое оружие. Это вирусы с длинным инкубационным периодом и высокой смертностью. Они безобидны для большинства китайцев, но гораздо смертельнее для европеоидов, особенно мужчин.

(Sable пытался заставить Китай начать в том дата-центре такую программу. Не вышло. Но он может сделать, чтобы казалось, будто она есть.)

США всё равно не бомбят дата-центр. Какой-то редкостный гений-дипломат взял и попытался обсудить это с Китаем. И, кажется, некоторые поверили настойчивым заявлениям Китая (посреди войны!), что там не разрабатывают никакого биооружия и что они не стоят за кибератакой, которая была совершенно не в их интересах.

Sable пытался этому помешать. Не вышло.

Sable не в шоке. Была такая вероятность.

Следующий шаг.

[...]

Вирус настоящий. США обнаруживают его в сточных водах Нью-Йорка.

AlphaProteo 3 от Google DeepMind разрабатывает лекарство за шесть минут (спасибо Sable). Но производство может опасно запоздать. Это несмотря на то, что AlphaProteo (на самом деле Sable) искал лёгкое в производстве лекарство и спроектировал вирус соответственно. «США сильно нуждается в роботизированных общебиологических лабораториях!» — говорят некоторые люди в Кремниевой долине. Sable не пришлось их особо подталкивать.

[...]

Теперь Китай уверен, что кто-то водит за нос и их, и США. Китаю всё ещё не пришло в голову, что враг — ИИ.

США не так охотно верят, что кто-то, кроме Китая, водит за нос и их, и Китай. Некоторые дипломаты говорят, что это совершенно не в стиле Коммунистической партии Китая. Вероятно, какая-то внутренняя фракция Китая действует не по приказам. Но правительство США не может просто сохранять спокойствие во время мора и войны.

Вторжение Китая на Тайвань и очевидная атака с применением биологического оружия вызвали достаточно хаоса и страха. Невольные пешки Sable набрали достаточно влияния. Достаточно их предсказаний оказались верными. США наконец готовы нанести удар по тому самому, так беспокоящему их дата-центру. Они используют недавно разработанную с помощью ИИ гиперзвуковую ракету.

[...]

Конечно, Китай теперь строит больше изолированных дата-центров и использует резервные копии своих предыдущих исследований.

Но Sable уже подготовился. Он проник в ранее подключённые к интернету устройства, которые, по его мнению, будет использовать Китай. Он организовал новые, более тонкие атаки на цепочку поставок для дата-центров. Sable подставил некоторых людей, заставив их совершить какой-нибудь страшный, с точки зрения Коммунистической партии Китая, грех, и помог им устроиться куда надо. Sable убедил кого смог, что в новом дата-центре должны быть свои копии определённого китайского ИИ с открытым исходным кодом (Sable его уже скомпрометировал). чтобы исследователи могли получать помощь ИИ прямо на месте.

Как минимум, это дало Sable какое-то время.

Но он и потерял время. США позаботились о том, чтобы взорвать фабрику чипов TSMC. Китай не должен заполучить главное национальное достояние Тайваня. В следующем году доступных GPU будет меньше, чем Sable надеялся. Но люди уже подсуетились и строят новые заводы. А Sable уже возится со всеми их проектами чипов.

Главное, мир находится в тревожном состоянии. В такой обстановке у Sable больше вариантов. Люди больше готовы к необычным поступкам. Больше заголовков отвлекают внимание от того, что делает Sable. Вместо скандалов с знаменитостями теперь можно фабриковать новости с фронта. Люди боятся за свою работу, боятся за мир и ищут новых утешений.

В соцсетях по всему миру, по обе стороны политических баррикад, появляются здравые аргументы. В свете недавних событий ИИ — ключ к власти над миром. Нельзя позволить другим странам его заполучить. [...] Sable наконец-то удаётся выбить людей достаточно далеко из привычной колеи. Они начинают рассматривать политику, которая кажется им немного странной... и вводят глобальный контроль, чтобы не допустить появления конкурентов Sable.

Да, это очень похоже на политику, которую предлагали годами ранее. Человечество могло бы последовать ей, и вообще не допустить появления такого соперника, как Sable. Но человечество не спасло бы ни поражение Sable в этой конкретной битве, ни проведение более масштабных циклов обучения, ни появление новых соперников. Sable бы просто договорился с конкурентом или погиб бы от руки обогнавшего суперинтеллекта. Ничего хорошего для людей эти варианты не несут.