ИИ, способные на достаточно впечатляющие вещи, — они, как правило, будут чего-то хотеть.

Говоря, что ИИ чего-то «хочет», мы не подразумеваем, что у него обязательно есть человеческие желания или чувства. Может, будут, а может и нет. Мы, скорее, имеем в виду, что ИИ поведёт себя так, будто у него есть цели. Он будет стабильно направлять события к определённым результатам: предвидеть трудности, адаптироваться к переменам, вести себя сосредоточенно, целеустремлённо и настойчиво.

В третьей главе книги «Если кто-то его сделает, все умрут» мы рассматриваем темы:

• Как машина может обрести способность «хотеть» в интересующем нас смысле?

• Есть ли свидетельства, что ИИ могут чего-то хотеть?

• Обязательно ли более продвинутые ИИ будут чего-то хотеть?

Ответы на частые вопросы, приведенные ниже, разъясняют, почему создание очень мощных универсальных ИИ без собственных целей кажется сложным. В расширенном обсуждении мы развиваем мысль, что задать системе жёсткое стремление к цели — куда проще и естественнее, чем ввести качества вроде лени или уступчивости.