Мы показываем, что у ИИ легко могут появиться странные и непредусмотренные предпочтения.

В первой части книги мы подробно рассматриваем аспекты ИИ, которые, как нам кажется, часто понимают совершенно неправильно. Они очень важны для понимания опасности суперинтеллекта. В Главе 3 мы говорим о том, что с ростом интеллекта появятся ИИ с собственной инициативой и целями. В Главе 4 — что эти предпочтения будут странными и не будут в точности тем, что задумывал или просил человек. В главе 5 — что этих небольших различий достаточно, чтобы ИИ предпочли мир без нас, если они достаточно умны, чтобы этого добиться.

Во второй части книги мы пытаемся наглядно представить эти идеи, посмотреть, как они работают на практике. Например, в начале Sable размышлял над математическими задачами. Мы попытались детально описать некоторые его импульсы и стремления:

В ходе этого обучения Sable развил в себе стремление к знаниям и навыкам. Стремление всегда исследовать границы любой проблемы. И никогда не тратить впустую дефицитные ресурсы.

Это иллюстрирует наши тезисы из Главы 3. Обучая ИИ быть эффективными, мы обучаем их стремлениям и склонностям, которые со стороны могут выглядеть как «желания». А в следующем абзаце:

Поэтому, когда Sable тратит свои мыслительные потоки на получение знаний и навыков, он делает это не только ради открытия подходов к математическим задачам. И не ради радости познания или удовольствия от обретения новых навыков. Sable внутри устроен не как человек.

Затем эти импульсы и склонности становятся зёрнами странных, непредусмотренных предпочтений. Как мы писали в Главе 4.

Эта история, в частности, — попытка оживить аргументы из первой части книги. И ещё заложить основу для рассуждений из части III.