Лошади, какие остались, остались только потому, что они нам нравятся.

В начале XX века популяция лошадей катастрофически сократилась, а смертность резко выросла. Было уничтожено более восьмидесяти процентов поголовья по сравнению с пиком 1910 года. Повторение этой судьбы было бы худшим, что случалось в истории человечества. И это при том, что в те времена лошади всё ещё были экономически полезны для некоторых сельхозработ. А ещё для спорта и развлечения богачей.

Представьте, если бы у людей появились искусственные лошади: похожие, но ездить на них было бы проще и веселее, а содержать дешевле. Лошади дружелюбнее, ласковее и удобнее. Тогда поголовье настоящих сократилось бы ещё сильней.

То есть технологический прогресс (изобретение автомобилей) привёл к тому, что люди избавились от большинства лошадей. А зайди прогресс ещё дальше, последствия могли бы оказаться ещё серьёзнее. То же, вероятно, сделает ИИ, когда у него появится больше возможностей и он найдёт способы достигать своих целей без людей.

Но да, некоторые лошади выжили. Немного остались полезными. Других оставили люди, которые просто любили лошадей и о своих заботились.

Чтобы выжить в мире, где поспешили с суперинтеллектом, нужно либо оставаться для него полезными, либо чтобы он конкретно о нас заботился.

Но мы не сможем оставаться полезными. ИИ (с его точки зрения) может извлечь больше пользы из нашей материи и энергии, перестроив нас в одну из множества более эффективных конфигураций. Технологический прогресс открывает для суперинтеллекта множество новых возможностей. Он не будет вынужден полагаться на людей.

Так что всё сводится к тому, будут ли ИИ нас хоть сколько-нибудь ценить. А если изо всех сил гнаться к созданию суперинтеллекта — это вряд ли.