Почему фаза экспансии Sable прошла именно так?
Мы попытались выбрать из правдоподобных сценариев особенно медленный и не странный.
Реальный мир часто удивляет. Всего за год до того, как ChatGPT стала самым быстрорастущим приложением в истории, специалисты говорили, что «ИИ ещё не скоро овладеет человеческим языком». Флагманская модель одной из ведущих ИИ-компаний стала называть себя МехаГитлером. А через несколько дней эта же компания получила контракт от министерства обороны США.
Мы могли бы в сценарии изобразить мир таким хрупким и уязвимым, каким кажется реальный. Galvanic просто велела бы Sable улучшать себя, насколько это возможно. Для столь умного ИИ как Sable это оказалось бы легко (что вполне может быть правдой). И мы сразу перескочили бы с начала Главы 7 к Главе 9. Такие технологические скачки возможны. Например, утром 6 августа 1945 года мир проснулся от новости, что на Японию сбросили атомную бомбу. Но это не выглядело бы правдоподобно в вымышленном сценарии.
Мы могли бы в сценарии изобразить мир таким глупым и дурацким, как реальный. Sable организовал бы массовый съезд для мужчин, которые очень любят своих ИИ-подружек. Съезд был бы настолько кринжовым, что большая часть мира его бы проигнорировала или высмеяла. А Sable объединил бы своих самых преданных поклонников в преданный культ. Можно добавить ещё кучу дико звучащих деталей. В реальности они нередки. Но для удобоваримого вымысла они слишком странные.
Мы старались сделать свою историю и правдоподобно звучащей, и правдоподобной. (Хотя мы склоняемся к тому, что в реальности Sable было бы проще достичь полноценного суперинтеллекта.)
И, конечно, мы пытались снова и снова показывать, как много у сбежавшего ИИ было бы вариантов действий.