Если ИИ ценит «занятность», у него, вероятно, есть варианты и получше.

Здесь ситуация примерно как с любовью к родителям:

• По умолчанию суперинтеллект, скорее всего, не будет ценить «занятность» или «интересность». Шахматные ИИ выигрывают не потому, что испытывают эмоции вроде «преданности делу» или «воли к победе». Эти эмоции важны для шахматистов-людей, но ИИ могут делать ту же работу иначе. Вот и полезные вещи — изучать мир, проверять гипотезы и так далее — он, вероятно, будет делать без «любопытства» или «занятности». ИИ не обязательно будет «холодным и логичным». Но если у него и будет свой запутанный набор побуждений и инстинктов, то, скорее всего, совсем не такой, как у людей.

• Предположим, что у ИИ разовьётся нечто вроде тяги к «интересному». И что люди в каком-то смысле покажутся ему занятными. Даже тогда неизбежно найдутся куда более «интересные» применения нашим материи и энергии.

• Суперинтеллект может создавать другие разумы, чтобы изучать их или взаимодействовать. Но почти при любом наборе ценностей самыми занятными для изучения разумами окажутся не человеческие. Подробнее об этом в «Люди — почти никогда не самое эффективное решение», ниже.

• Если ИИ всё же сочтёт нечто похожее на людей самым интересным или занятным из возможного, результат, скорее всего, будет ужасен. См. обсуждение в Главе 4.

Нет ничего принципиально невозможного в том, чтобы суперинтеллект ценил всё необходимое для процветания людей, причём именно так, как нужно. Но это лишь одна из огромного множества возможностей. Люди обычно не задумываются об остальных вариантах. Ведь для этого нет причин. Мы обычно не сталкиваемся с по-настоящему чуждыми оптимизаторами со странными целями.^*

Мы никогда раньше не видели ничего, подобного ИИ. Многие наши привычные представления о том, как ведут себя люди, для суперинтеллекта просто не подойдут.

Если бы ИИ ценил нас как исторические реликвии, это тоже было бы ужасно.

Крайне маловероятно, что ИИ захочет именно сохранить свою историю и, ещё конкретнее, для этого сохранить людям жизнь. Даже если по какой-то причине выполнится первое, это не означает второе.

Возможно, он запечатает наши мозги в янтаре или запишет расположение наших атомов в какой-нибудь цифровой файл. И так сохранит нас как свидетельство того, какой когда-то была Земля. Вряд ли нам понравится такой исход.

Мы скорее ожидаем, что суперинтеллект нас просто убьёт. Но это не точно. Нельзя исключать, что ИИ по той или иной причине сохранит о нас какие-то записи. Есть и экзотические сценарии: эмуляции людей время от времени запускаются в контролируемой среде.^† Не особо счастливые финалы.