Проблема не только в нехватке времени. Проблема — что ошибки смертельны.

К 500 году н.э. мир сошелся во мнении, что Солнце вращается вокруг Земли. Позже возникла теория Коперника. Её рассмотрели и в основном отвергли. И лишь когда Галилей с помощью телескопа увидел луны Юпитера — вращающиеся вокруг него, а не Земли, — молодая наука пришла к верному выводу. Земля всё же вращается вокруг Солнца.

Со временем человечество постигло правильную теорию небесной механики. Но сперва люди пришли к ложному согласию. И они яростно цеплялись за него. До тех пор, пока реальность не ошарашила Галилея по голове тем фактом, что Земля — не центр мироздания.

Обычно путь науки к истине так и выглядит. Учёные ошибаются, а реальность бьёт их по голове свидетельствами, пока они не обновят свои модели.

Проблема согласования ИСИ — не только в сложности самой задачи. Беда в том, как здесь выглядит «удар реальности по голове» за ошибочную теорию. Тут это значит, что недружественный ИСИ поглотит планету. И не останется в живых никого, кто мог бы разработать теорию получше.

Будь у нас сто лет и бесконечные попытки, мы бы, наверное, решили задачу согласования ИСИ без особых проблем.

Но будь у нас даже триста лет. Мы создадим теорию интеллекта, изучим, как меняется умнеющий ИИ и поймём, как задать ему устойчивую цель. Но без возможности взять и посмотреть, — что бывает, когда ИИ становится радикально умнее? — мы всё равно, скорее всего, придём к неверному ответу. У нас не будет жизненно важных свидетельств. Люди склонны останавливаться на таких ошибочных выводах.