А разве затраты на сохранение человечества не будут пренебрежимо малы для мощного ИИ?
Пренебрежимых затрат много. Нужна причина, чтобы понести именно эти.
Хранить дома груду из сорока одного камня — тоже пустяковый расход. Но вы же почти наверняка так не делаете.*
Если что-то дёшево, это ещё не значит, что так и будет. До этого ИИ должно быть хоть какое-то дело. И скорее всего, не будет.
Можно спросить: но Земля ведь перехватывает лишь 0,0000045 процента света, излучаемого Солнцем. Одну часть из 2,2 миллиарда. Неужели все, кто беспокоится об ИИ, просто не понимают, насколько велика Солнечная система? Зачем ИИ наша планета, когда вокруг столько свободной массы и энергии?
Один из ответов: ИИ начнёт свой путь на Земле. Тут есть огромные океаны, их можно нагревать и выпаривать для охлаждения вычислительных устройств. Ещё тут есть материя, которую можно превратить в зонды и отправить к другим звёздам. Отказаться от использования планеты — потерять время. А оно важно — галактики удаляются и становятся навеки недосягаемыми.
Даже если ИИ может легко выйти в космос и начать строить масштабные машины, не уничтожая при этом Землю, он вряд ли проигнорирует Солнце.
Одна из стандартных теорий развития продвинутой цивилизации предполагает, что та построит рой Дайсона (то есть рой солнечных батарей на орбите), чтобы улавливать больше света Солнца. Другие идеи подразумевают добычу ещё большего количества энергии через «подъём» вещества звезды. Так можно улавливать почти всю энергию синтеза (не в пример самой звезде, где бо́льшая часть впустую тратится в ядре).
Ни один из этих сценариев по умолчанию не предполагает, что к Земле пробьётся достаточно солнечного света для растений и стабильного климата. Тут ИИ должен приложить специальное усилие.†
Может всё равно показаться, что энергетические потребности людей ничтожны. Человеку для жизни нужно около 100 ватт энергии. Это сущие копейки по масштабам того, кто может осваивать звёзды. Неужели суперинтеллект не выделит какие-то 800 гигаватт, чтобы поддерживать жизнь 8 миллиардов человек?
В конечном счёте наш ответ: нет. Он сделает это только если такое решение или его последствия будут важнее всего остального, на что можно потратить 800 гигаватт.
Подавляющее большинство людей не станет тратить чуток сахара, чтобы обеспечить избыток калорий ближайшему муравейнику. Если бы ИИ захотел, сделать человечество счастливым было бы для него пустяковым расходом. Но для начала у него должно появиться такое желание. То, что мы этого хотим, не значит, что ИИ не будет наплевать.‡
* Ну, пока мы не дали вам повод сделать это, чтобы утереть нам нос.
† Физически возможно создать в покрытии солнечных батарей роя Дайсона промежуток, следующий за Землёй по орбите. Но это непросто. Чтобы солнечные батареи оставались на орбите, находясь ближе к Солнцу, орбитальная скорость роя между Землёй и Солнцем должна быть выше орбитальной скорости Земли. А инфракрасное излучение от солнечных панелей надо специально направлять прочь от Земли, а то оно её испепелит. И так далее. Сохранение Земли не бесплатно для суперинтеллекта, ведущего крупномасштабные проекты в Солнечной системе и за её пределами. Это, наверное, возможно, но потребует усилий.
‡ А если бы у ИИ и были какие-то предпочтения, связанные с людьми, для нас это, вероятно, хорошо бы не кончилось.