А разве ИИ не будет заботить только цифровой мир?
Нет никакого «цифрового мира», независимого от физической инфраструктуры.
См. обсуждение в Главе 5 о том, что нет отдельных Цифрового и Материального миров.
Материальные ресурсы полезны для достижения большинства целей.
Интеллект людей и наших предков-гоминидов развивался на поверхности Земли. Наши врождённые стремления не особо направлены на происходящее в сотне метров под землёй. Но мы всё равно роем гигантские карьеры.
Почему? Потому что много нужных нам штук можно сделать из металла. А металл выплавляется из руды. А руда добывается из-под земли.
Ещё почти все мы живём на поверхности Земли. Но мы всё равно запускаем в космос спутники для передачи интернет-данных.
И мы не едим силос — ферментированную траву. Но производим его, и довольно много. Мы кормим им скот, который потом едим сами.
Эволюция не заложила в гоминидов никаких эмоций по поводу фабрик. Когда формировались наши эмоции, не было фабрик. Но теперь мы, как вид, направили значительную часть своей воли на их создание. И вот химические фабрики производят пластик, из которого на других предприятиях делают ложки. Ложки доставляют людям, чтобы те ели ими еду, которую мы, собственно и хотим.
Это всё к тому, что часть реального мира, важная людям сама по себе, — лишь тонкая плёнка на поверхности гораздо большего мира. Нам не нужно ценить остальной мир сам по себе, не нужно весь его заселять, чтобы использовать его для своих долгосрочных целей. Эволюция не учила нас любить медь, силос или заводы. Мы всё равно увидели их пользу.
Точно так же ИИ может и не ценить ничего в физическом мире само по себе. Но он всё равно увидит пользу материальных ресурсов. Материю и энергию можно использовать для создания дополнительного цифрового субстрата, охлаждения перегревающихся процессоров или запуска зондов в космос, чтобы собрать ещё больше ресурсов.