Человеческое стремление к сохранению экологии кажется ещё одним странным и случайным побуждением.

Нам доводилось слышать такую надежду: ИИ может сохранить людей примерно так же, как люди стараются сохранить природу. Защитники природы борются за спасение вымирающих видов. ИИ умнее и способнее, так что, захотев оставить людей, легко сможет их защитить.

Мы не думаем, что этот сценарий сработает. В первую очередь: ИИ, скорее всего, в итоге обзаведётся своими странными и сложными желаниями вместо узнаваемо человеческих. Подробнее об этом читайте в Главе 4 (и некоторых из расширенныхматериалов к ней). Ранние эмпирические свидетельства есть, например, в обсуждении ИИ-психоза.

Во-вторых, даже в том маловероятном случае, что ИИ как-то обзаведётся человекоподобным желанием «сохранить» мир, в котором он появился, — для людей это, по нашему мнению, хорошо не кончится. Такие рассуждения по аналогии — «Люди сохраняют природу, так может, и ИИ сохранит нас!» — принятие желаемого за действительное.^*

Предположим, ИИ каким-то образом обзавёлся человекоподобным стремлением защищать свою природную среду. Чтобы понять результаты, можно для начала посмотреть на реальное человеческое стремление защищать природу.

К сожалению, оно выглядит, в лучшем случае, непоследовательным. Отложим пока в сторону, что когда людям приходится выбирать между сохранением экологии и какой-то другой целью, экология часто проигрывает. Не исключено, что это просто из-за наших технологических ограничений. И с чудесными технологиями будущего мы могли бы получить и то, и другое.

Важная для нас «непоследовательность» в другом. Когда дело доходит до сохранения природы, мы предпочитаем оберегать те её части, которые кажутся нам самыми интересными, красивыми или ценными. А это зависит от других наших побуждений.

Люди готовы грудью встать на защиту милых панд. А непривлекательные виды вроде гигантской уховёртки и реобатрахуса чахнут в безвестности, пока не вымрут. Есть даже виды, которые мы, возможно, предпочли бы уничтожить. Малярийные комары вот убивают полмиллиона детей каждый год.

У большинства людей нет чистого стремления к сохранению природы. Оно окрашено другими ценностями.

Проясним ещё. Рассмотрим изумрудных ос, мясных мух-вертиголовок, оводов и прочих паразитов, откладывающих яйца в живую добычу. Их личинки проедают себе путь наружу, причиняя хозяину сильную боль. Лучше ли, с точки зрения большинства людей, для мира, если мы сохраним это «чудо природы» как оно есть? При максимальном развитии технологий не могли бы мы хотя бы генетически модифицировать этих паразитов, чтобы они впрыскивали немного анестетика? Не будет ли лучше подкорректировать этих насекомых, чтобы они откладывали яйца в растения?

Если отвлечься от того, на чём делают акцент в рассказах для детей, природа полна ужасов. Неочевидно, что, если у человечества всё будет хорошо, наши потомки решат позволить этим кошмарам продолжаться. Уже сейчас некоторые беспокоятся о благополучии диких животных.

Наше стремление к сохранению — не чистое, не простое и не однозначное. В нём есть внутренние конфликты и противоречия, связанные с другими ценностями и побуждениями.

Мы не знаем, как инстинкты сохранения человечества проявятся при максимальном технологическом развитии. Суть в том, что даже если ИИ обзаведётся неким стремлением к сохранению экологии, это вовсе не обязательно хорошо для человечества. Любое такое стремление, попавшее в ИИ, тоже, вероятно, не будет чистым, простым и изолированным от остальных его ценностей и побуждений.

Для людей отвратительны некоторые повадки животных. Так и для ИИ могут оказаться отвратительными некоторые психологические состояния человека. Мы бы подкорректировали мясных мух, чтобы они перестали прогрызать тоннель в живой плоти. А ИИ, может, создаст новую породу людей, без музыки или чувства одиночества. Или внесёт в человечество другие, более сложные изменения, соответствующие его сложным предпочтениям. Мы просто не можем их предсказать.

Чтобы ИИ действительно дал людям жить и процветать, нам придётся создать такой, что будет заботиться конкретно об этом. Придётся понять, как заставить ИИ хоть немного о нас заботиться. Это не происходит само собой.