Счастливые, здоровые, свободные люди — не самое эффективное решение почти для любой задачи.

Когда ты суперинтеллект, участие людей в решении почти любой проблемы тебе не выгодно. Если ты строишь электростанцию или ставишь эксперимент, люди будут тебя только тормозить.

Мы уже видим, как это начинает сбываться в узких областях вроде шахмат. ИИ вместе с человеком играют лучше, чем человек отдельно, но хуже, чем ИИ отдельно. Врачи, использующие для постановки диагноза свои собственные знания и ИИ, зачастую справляются хуже, чем ИИ, действующий самостоятельно.

Некоторые утверждают, что разнообразие точек зрения выгодно по сути своей, так что много где вклад человека будет ценен. Но даже если предположить, что для суперинтеллекта это так, люди — не лучший возможный способ получить разнообразные советы. Суперинтеллект мог бы добиться большего, создав кучу отличающихся ИИ-разумов. Они были бы куда разнообразнее (и энергоэффективнее) людей.

Люди много для чего полезны. Но мало где они — лучшее решение. Мысль, что ИИ никогда не найдёт вариант получше, похоже, исходит от недостатка воображения. И, возможно, от склонности принимать желаемое за действительное.

Частая проблема — люди не представляют ситуацию с точки зрения ИИ. Они не задаются вопросом «Чего это существо хочет и как ему получить этого побольше, дёшево и эффективно?», и не выясняют, что желательные для человека исходы — как раз лучший для ИИ путь.

Нет, люди начинают с приятного для себя исхода (например, с мира, где ИИ нас не трогает). А потом задним числом придумывают, почему он тоже мог бы этого хотеть.

Это внушает ложное чувство оптимизма. Ведь вся креативность и умственная энергия вкладываются в сочинение историй, где ИИ делает именно то, чего хотят люди. А не в рассмотрение гораздо большего числа сценариев, где ИИ делает миллион других возможных вещей.

У ИИ гораздо больше вариантов создать буквально что угодно другое, а не процветающую людскую цивилизацию. Мотивов не сохранять человечество у ИИ гораздо больше, чем сохранять. Чтобы ИИ озаботился вторым, мы должны быть лучшим способом достижения какой-то из его целей. И какую ни представь, мы для них особенно не нужны.

Подробнее об этом см. расширенное обсуждение ниже.