Пообещать он может что угодно. А вот заставить его сдержать обещания — нельзя.

Ну, пока ИИ ещё мал и бессилен, мы можем его выключить. Кому-то покажется, что здесь можно договориться: мы предлагаем сделать ИИ умнее, но только если он, став суперинтеллектом, даст человечеству кучу всего хорошего.

Проблема в том, что мы не сможем отличить ИИ, который согласится на сделку, но обманет, от того, который согласится и сдержит слово.

Это, в свою очередь, значит, что у ИИ с негуманными целями нет стимула выполнять обещанное. Ведь человечество одинаково отнесётся к предателям и к тем, кто держит слово. Так что нет смысла его держать.

В вопросе обещаний и сделок с ИИ есть много интересных нюансов. Мы разберём их в расширенном обсуждении ниже. Но ни один из них не меняет простого главного вывода: нельзя использовать своё влияние на слабый ИИ, чтобы ограничить ему варианты действий на стадии суперинтеллекта. В этом случае первый приходящий в голову ответ — «как только ИИ станет суперинтеллектом, у него не будет причин держать слово в ущерб собственным планам» — оказывается верным.