С развитием технологий мы, вероятно, будем создавать ещё меньше копий своих генов.

Люди куда активнее стремятся к повышениям и поступлению в престижные вузы, чем к возможности сдать сперму или яйцеклетки.

Это банки спермы и яйцеклеток платят донорам, а не наоборот.

Большинство тиранов в истории даже не пытались использовать свою власть, чтобы завести тысячи детей. А уровень рождаемости в современном мире падает.

[Суммарный коэффициент рождаемости показывает, сколько детей в среднем родила бы одна женщина на протяжении всего репродуктивного периода при сохранении в каждом возрасте уровня рождаемости того года, для которого вычисляется показатель.]

Многие люди ценят детей. Но немало других — нет. И крайне редко кто-то пытается завести как можно больше потомства (например, максимально часто обращаясь в банки спермы). Нет, людям обычно интереснее штуки вроде секса, славы и власти. Может, они и полезны для репродуктивного успеха, но в лучшем случае косвенно.

Но можно посмотреть на эту картину и сказать: что ж, в итоге люди немного, пусть и не максимально, ценят заведение детей. Может, ИИ будут немного заботиться о нас и оставят нам какие-то объедки, а не убьют всех.

Одна из проблем в том, что важные для нас косвенные спутники недавно (в эволюционных масштабах) отвязались от реального репродуктивного успеха. И, вероятно, будут отдаляться всё дальше. Люди найдут новые технологические способы удовлетворять свои желания.

Например, наше стремление к детям — не совсем стремление к распространению генов. Представьте, что в будущем можно будет заменить всю ДНК в клетках человека другим молекулярным механизмом. И это будет давать иммунитет ко всем болезням и продлевать здоровую жизнь.

(Допустим, технология не меняет личность человека и не имеет вредных побочек. Так что те, кто резонно сомневается в безопасности новых технологий, успокоятся.)

Мы думаем, многие родители с энтузиазмом устроили бы своим детям такое лечение. Наверное, сначала много кто отказался бы. Но если такая технология докажет свою эффективность и станет дешёвой и надёжной, она распространится повсеместно. Это показывает, что на самом деле нам нравятся дети, семья и радость, а не распространение своей ДНК.

Нам кажется, большинство людей вообще на глубоком уровне не заботятся о репродуктивном успехе. О косвенных вещах, вроде дружбы, любви, семьи и детей — да. Может, нам даже важно передать некоторые наши черты следующему поколению. Но именно гены?

Человечество изобретало способы получать больше того, что нам нравится — например, вкусной еды или секса без размножения. И оно всегда принимало размен. Наших технологий пока недостаточно, чтобы обменять геномы на более долгую и здоровую жизнь. Но это кажется физически возможным.^* Так что в долгосрочной перспективе для естественного отбора всё выглядит не очень хорошо.

Мы ожидаем, что если ИИ будут заботиться о доброте и дружелюбии примерно так же, как человечество — о репродуктивном успехе, то они в конце концов изобретут для «дружелюбия» то же, чем контрацепция и дети без ДНК являются для репродуктивного успеха. То, к чему они будут стремиться, окажется лишь бессмысленной тенью того, что бы хотел или имел в виду любой человек.

«Немного» заботы о людях от ИИ — тоже плохо.

Люди в массе своей, похоже, заботятся о детях и семье больше, чем о распространении генов как таковом. Но, конечно, есть и те, кто настаивает, что гены им хоть немного, да важны. Мы довольно скептически относимся к таким заявлениям. Например, возможно, те, кто пытается как можно сильнее распространить свои гены, делают это из чувства соперничества. Может, они так же соревновались бы, у кого больше детей без ДНК, если бы те стали обычным явлением. Но не исключено, что у кого-то действительно так. Пусть и вправду есть горстка людей, которые хотя бы немного, но глубоко и по-настоящему заботятся о распространении своих генов. У людей бывают самые разные предпочтения!

Вдруг с ИИ окажется так же? Может, если создать много разных и странных ИИ, то хотя бы некоторые из них будут хоть чуточку заботиться о людях?

Может такое быть. Но, к сожалению, мы считаем, что и это добром для нас не кончится. Мы всерьёз разберём это после Главы 5. Там будет обсуждение, могут ли ИИ в итоге хоть немного о нас заботиться.

Но уже сейчас давайте сделаем шаг в сторону. Представьте такую ситуацию: современные методы не могут заставить ИИ сильно о нас заботиться, но если создать много ИИ, то какая-то крошечная их часть будет хоть чуточку о нас заботиться. Просто по воле случая. Тогда самым предпочтительным для них исходом будет захват почти всех ресурсов во вселенной. Они потратят их на что-то, не имеющее для нас ценности. Может, оставят людям небольшие резервации.

Мы ожидаем гораздо, гораздо худшего исхода, если человечество, играя с суперинтеллектом, понадеется на удачу. Даже будь у нас были причины ожидать, что ИИ будут хоть самую малость о нас заботиться, это всё равно показалось бы нам очень плохим планом. Так что мы считаем эту линию рассуждений не только ошибочной, но и бессмысленной.