Если нынешние ИИ ведут себя странно в основном только в необычных ситуациях, в чём проблема?
Эта странность — свидетельство, что их реальные цели — не те, что мы задумывали.
По мере того, как у ИИ появляется больше вариантов действий, это становится всё важнее. Как только ИИ станет суперинтеллектом, почти любой выбор станет необычным. Ведь ИИ получит доступ к куче возможностей, которых никогда не было ни у людей, ни у других ИИ. Как почти вся еда, доступная вам здесь, в технологической цивилизации, — «необычный» вариант по сравнению с доступными вашим предкам.
Сегодняшние ИИ только иногда попадают в ситуации, кардинально отличающиеся от их среды обучения. Но суперинтеллект будет оказываться в них постоянно. Просто потому, что он умнее и у него больше вариантов (и технологических возможностей изобретать новые варианты, как люди придумали мороженое). Итого, факт, что ИИ плохо ведут себя лишь в крайних случаях, не утешает.
Говоря более техническим языком: лучшие решения задач склонны быть крайностями.*
Мы подробнее обсудим эти моменты в Главах 5 и 6.
* Как сказал Стюарт Рассел, соавтор книги «Искусственный интеллект: современный подход»: «Система, оптимизирующая функцию от n переменных, где цель зависит от подмножества размером k\<n, часто устанавливает оставшиеся неограниченные переменные в экстремальные значения. Если одна из этих неограниченных переменных на самом деле для нас важна, найденное решение может быть крайне нежелательным». Основная теорема линейного программирования гласит, что при оптимизации линейной функции над выпуклой многогранной областью это неизбежно. На практике в более общих контекстах, как правило, наблюдается похожая закономерность. Многие задачи оптимизации имеют с оптимизацией линейной функции над выпуклой многогранной областью нечто общее.