Нет. Мы не знаем, где находятся критические пороги.

Есть приличный шанс, что развитие ИИ выйдет из-под контроля, как только они станут достаточно умными, чтобы автоматизировать исследования ИИ. Это может случиться тихо, в лаборатории. Безо всяких громких событий и «предупредительных выстрелов».

Как мы уже обсуждали, мозги шимпанзе очень похожи на человеческие, только в четыре раза меньше. (См. раздел «Сможет ли ИИ преодолеть критические пороги и „улететь”?» материалов к Главе 1.) У нас нет особого модуля «будь очень умным». Между их мозгом и нашим — плавный переход. Глядя только на мозг, трудно было бы сказать, где проходит черта между «обществом обезьян» и «обществом, гуляющим по Луне». Мозг приматов пересёк критический порог. И это было неочевидно снаружи. Есть ли такие пороги у ИИ? Кто знает! Разработчики нам не подскажут. Они даже немогут предсказать способности новых систем до их запуска.

Если бы люди точно понимали природу интеллекта, и как с ростом способностей изменится поведение ИИ, можно было бы балансировать на краю пропасти. Но сейчас человечество бежит к обрыву в темноте и тумане, не зная, где именно край. Нельзя ждать падения, чтобы передумать.

Мы никогда не будем уверены. Придётся действовать без уверенности или погибнуть.