Он правдоподобный, и про него легко писать.

В рассказе о будущем каждая деталь — это шанс ошибиться. Мы не можем точно предсказать технологические прорывы и порядок, в котором они произойдут, как не можем точно предсказать погоду на месяц вперёд.

Подобные истории — не окна в будущее. Это иллюстрации, как оно может сложиться. Они помогают связать воедино абстрактные аргументы из первой части книги. Некоторым людям опасность кажется гораздо реальнее, когда они живо представляют себе конкретный путь в будущее с гибелью в конце.

Ещё убедительнее были бы десять или сто историй. Они бы показали, как много разных путей ведёт к гибели, сколь узки и хрупки пути к процветающему будущему.

Некоторые аспекты будущего предсказать легко. Когда почти все пути ведут в одну точку, можно предугадать попадание в неё. Но у нас не было времени или места, чтобы написать десять историй, не говоря уж о сотне.

Мы избрали сценарий, который начинается очень скоро. Мы не считаем, что так обязательно и будет. Мы не уверены. Но о событиях, близких к настоящему, гораздо проще писать. Если бы мы перенесли действие дальше в будущее и выдумали больше футуристических деталей о произошедшем за это время, рассказ был бы ещё менее правдоподобным. Да и эти детали только отвлекали бы.

Да и даже если бы мы как-то предсказали точный путь, которым пойдёт будущее. Это совсем не обязательно был бы лучший сценарий для понимания закономерностей.

Мы ожидаем, что реальное будущее окажется очень странным. Будет полно запутанных и случайных мелочей, каждая из которых показалась бы неправдоподобной. История была бы запутанной и трудной для восприятия. Многие её детали были бы необъяснимы и излишни. Реальности ведь нет дела до стройности повествования. История казалась бы и менее правдоподобной, ведь многое выглядело бы просто дико.

Для наглядности, представьте, что вы вернулись на 100 лет назад и пытаетесь описать кому-нибудь повседневную жизнь и важные проблемы современного мира. Большинство людей в 1925 году никогда не слушали радио, не водили машину и не видели холодильника. Чтобы описать соцсети, глобализацию и ожирение, пришлось бы не просто объяснять сложную паутину технологий, но и радикально менять мировосприятие слушателя. Нет, история, которую мы решили рассказать, более правдоподобна, а значит — менее реалистична.

Будущее может пойти и множеством других путей.

Вот лишь некоторые альтернативные варианты, как можно было бы начать:

• Происходит какой-то прорыв в области непрерывного обучения, или долгосрочной памяти, или более эффективного обучения на данных. В результате появляются ИИ, качественно превосходящие по обобщённости интеллекта всех своих предшественников (подобно тому, как LLM качественно превосходят AlphaZero).

• LLM как будто «упираются в стену». Прогресс в области ИИ на годы замирает. Люди говорят, что пузырь хайпа лопнул. Но всё следующее десятилетие исследователи продолжают возиться со своими разработками. В итоге происходит некий алгоритмический прорыв. ИИ начинают работать качественно лучше, чем когда-либо прежде.

• Никакого качественного прорыва так и не происходит. Прогресс накапливается медленно и постепенно. ИИ всё глубже и глубже интегрируются во всё новые и новые сектора экономики. Они могут всё дольше и дольше работать автономно. ИИ часто преследуют цели, которые не совсем соответствуют тому, чего от них хотели или о чём их просили. Но человечество придумывает костыли, патчи и обходные пути. И всё идёт хорошо, пока в один ничем не примечательный вторник мир не переходит ту черту, за которой скоординированные ИИ могут выбить человечество из игры.

Любое конкретное предположение о точном пути будущего, скорее всего, окажется неверным. Но полезно приводить истории, показывающие, как всё могло бы сложиться.

Бывает трудно рассказать убедительную историю, когда будущее туманно, но все пути ведут к одному и тому же исходу. В любом нашем рассказе легко найти кучу деталей, делающих его неправдоподобным. В этом сценарии мы попытались подчеркнуть, что у Sable много доступных вариантов. Повествование произвольно следует по одному из многих маршрутов. Но все они ведут к одной и той же конечной точке.

Если эта конкретная история вас не убедила, можете попробовать сами написать столь же подробный рассказ о том, как всё произойдёт. По нашему опыту, оптимистичные истории, как правило, полагаются на то, что ИИ нереалистично легко согласовать (вопреки аргументам из главы 4) или что он нереалистично слаб (вопреки аргументам из главы 6). В конечном счёте всё решают аргументы из части I, а не детали конкретного рассказа.