Вряд ли.

Вы можете быть удовлетворены количеством кислорода. Если под водой откажет акваланг, вы будете рваться на поверхность. Но когда кислорода вдоволь, вы перестаёте о нём беспокоиться. Вряд ли вы станете копить всё больше баллонов.

Ваши стремления к богатству, приятным впечатлениям и признанию окружающих, скорее всего, уже менее насыщаемы. Если вы увидите лёгкую возможность разбогатеть, вы, скорее всего, ею воспользуетесь. Если вы увидите лёгкую возможность кардинально улучшить мир, мы надеемся, вы бы ею воспользовались, а не просто удовлетворились бы тем, сколько радости и комфорта уже есть. Надеемся, вы бы продолжали делать мир лучше довольно долго, если бы постоянно видели простые, дешёвые и приятные для вас способы.

И сумма насыщаемой потребности в кислороде и ненасытного желания делать мир лучше — это бесконечный набор желаний.

Так же и с ИИ. Большинство из множества его сложных предпочтений будут насыщаемы? Предпочтения в целом всё равно не будут.

А если цели ИИ и кажутся легкодостижимыми... Пусть, чтобы удовлетворить большую часть своих странных и чуждых целей, хватит энергии всего одной атомной электростанции. Но достаточно лишь одного ненасыщаемого аспекта из его мириадов целей. Одного не до конца удовлетворённого желания. И он предпочтёт использовать все оставшиеся ресурсы вселенной для достижения этой цели.

Ещё вариант: достаточно одной цели, в достижении которой ИИ никогда не будет полностью уверен. Тогда он предпочтёт тратить ресурсы вселенной на то, чтобы его уверенность крошечными шажками всё ближе и ближе подбиралась к ста процентам.

Или ещё: достаточно одной вещи, которую ИИ хотел бы защищать до скончания времён. Он предпочтёт потратить ресурсы вселенной на строительство оборонительных сооружений, чтобы никакие далёкие инопланетяне через миллионы лет не посягнули на его пространство.

ИИ много как может оставаться не полностью удовлетворённым. И чем запутаннее и сложнее его цели, тем вероятнее, что полностью удовлетворить хотя бы одну из них трудно или невозможно.

Да если бы и можно было создать суперинтеллект, одержимый всего одной простой вещью... Пусть это, скажем, покрасить конкретную машину в красный цвет. Такой ИИ всё равно, вероятно, нашёл бы куда потратить дополнительную энергию. Чтобы убедиться, что машина действительно красная. Чтобы соорудить вокруг неё защиту, и никто никогда не смог перекрасить её в синий. И так далее.

Ситуация «нас оставили в покое» очень неустойчива. Людям вот сложно оставить в покое шимпанзе.

Почему оба вида шимпанзе находятся под угрозой исчезновения? Много же кто о них заботится и активно пытается защитить?

Проблема не в том, что люди, которые любят шимпанзе, борются с людьми, которые ненавидят шимпанзе и потому пытаются их истребить.

Проблема в том, что люди хотят не только этого.

Люди хотят кучу всего. Это включает землю и древесину. Шимпанзе попадают под раздачу по ходу дела. Слишком многим людям шимпанзе безразличны. По крайней мере, достаточно безразличны, чтобы другие приоритеты перевешивали. В итоге так уж получается, что мы уничтожаем их среду обитания.

Зачем нам уничтожать среду обитания шимпанзе? Разве у нас не полно места для себя?

Ну, потому что нам не нужно выбирать между сохранением уже имеющейся территории и посягательством на территорию шимпанзе. Одно другому не мешает.

Так же и с ИИ. Ему не нужно выбирать между ресурсами Земли и ресурсами где-то ещё. В книге мы обсудили, что он может получить и то, и другое. Оставить нас в покое, с точки зрения ИИ, было бы не так уж и дорого. Но не бесплатно. Чтобы позволить нам использовать ресурсы, которые вместо этого он может направить на свои цели, нужна причина.

Более того, даже если ИИ можно полностью удовлетворить, исход для людей всё равно, скорее всего, будет довольно мрачным. На то есть несколько причин:

• Если ИИ можно полностью удовлетворить, это ещё не значит, что его можно удовлетворить легко. Ему хватит одной звёздной системы или одной галактики? Это не значит, что люди получат всё остальное.

• ИИ может рассматривать нас как конкурентов за звёздную систему или галактику.

• Даже если мы явно не заинтересованы с ним конкурировать, ИИ всё равно может видеть в нас потенциальную угрозу. Учтите, что люди могут создать ещё один суперинтеллект, конкурирующий с первым за те же ресурсы.

• Даже если ИИ не видит в людях ни конкурентов, ни угрозы, человечество, скорее всего, погибнет по ходу дела, просто оказавшись в эпицентре. Может ИИ в этом сценарии и хочет ресурсы всего нескольких звёздных систем. Но ведь его усилия всё равно начинаются на Земле. Самый прямой способ заполучить эти звёздные системы — извлечь ресурсы Земли, сделав её непригодной для жизни. ИИ в этом сценарии мог бы полностью достичь своих целей, не уничтожая человечество. Но если ему совершенно нет до нас дела, то зачем утруждаться?

• Если он захочет сохранить человечество, для нас это всё равно скорее всего добром не кончится. Мы это уже обсуждали в разделах «А разве ИИ не сочтёт нас занятными или исторически важными?» и «Неужели ИИ не будет хоть немного ценить людей?». (Насыщаемый ИИ или нет — тут ни на что особо не влияет — перспективы так и так мрачные.)

См. ещё расширенные обсуждения удовлетворимости (в материалах к этой главе) и «Надёжная лень — это сложно» (в материалах к Главе 3).