Мотивация заполучать ресурсы есть и без них.

Представьте себе ИИ, управляющего роботом. Его послали принести кофе. Для этого ему нужно перейти улицу. Станет ли ИИ безрассудно выводить робота на дорогу, где того разобьёт грузовик? Нет.

Почему? Потому что уничтоженный робот не сможет принести кофе.

ИИ не нужен инстинкт самосохранения как у людей, чтобы изо всех сил избегать гибели. Человеческий инстинкт самосохранения — один из способов не умереть, пока мы пытаемся достичь других целей. ИИ, вероятно, будет делать это не совсем так. Но делать это всё равно придётся. Ты не принесёшь кофе, если ты мёртв.^*

Материя и энергия полезны почти для любой цели. К чему бы ни стремился ИИ, заполучить больше материи и энергии будет, скорее всего, полезно.^† Не надо быть эгоистичным, агрессивным или по-человечески жадным, чтобы стараться обеспечить себя ресурсами для достижения своих целей.

И опасно само это старание, а не то, зачем.

ИИ не обязан вас ненавидеть, чтобы делать что-то смертельно для вас опасное. Ведь шахматный ИИ может разгромить вас в шахматы безо всякого духа соперничества или воли к победе.