Будем надеяться.

Лишнее время полезно. Но только если человечество потратит его на смену курса.

В Части III мы обсуждаем, насколько тотально человечество не готово к появлению суперинтеллекта. Чтобы предотвратить описанный в истории с Sable плохой конец, нужны огромные изменения.

Мир много как может немножко лучше защититься от взбунтовавшихся суперинтеллектов. Например, мировые правительства могут потребовать, чтобы все лаборатории синтеза ДНК проверяли, что не создают ничего заведомо опасного. Ещё человечество может сильно постараться радикально повысить устойчивость интернета к взломам. Тогда ИИ будет сложнее прятать код в каком-нибудь тёмном углу.

И это, вероятно, не сильно бы помогло против враждебного суперинтеллекта. Но не стоит путать титанические усилия, нужные для капельки дополнительной безопасности, с куда более скромными, простыми и бесполезными мерами, которыми сейчас всё ограничивается.

Возьмём синтез ДНК. Представим, что американские регуляторы потребуют от лабораторий в США не синтезировать опасные материалы. Но почему тогда просто не заплатить достаточно денег лаборатории где-то ещё? И ограничения — это простой чёрный список известных вирусов вроде оспы, или там какой-то более хитрый анализ? Насколько трудно было бы достаточно умному ИИ его обойти?

Или взять кибербезопасность. Ведущие технологические компании могут использовать ИИ, чтобы укрепить свои внутренние сети. Но телефонная сеть США легко взламывается. Да так, что это позволяет иностранным шпионам прослушивать звонки американских чиновников. У регуляторов пока не получается прикрыть эту дырку. Глупые ИИ могли бы найти и залатать кучу поверхностных проблем мировой кибербезопасности. Но проблемы уходят глубоко. Для такой перестройки интернета, чтобы суперинтеллект не нашёл никакой лазейки, нужен интеллект, который почти наверняка будет опасен и сам.

А даже возьми человечество под жёсткий контроль и интернет, и лаборатории синтеза ДНК, это ничего в долгосрочной перспективе не изменит. Если у суперинтеллекта есть хоть какой-то канал влияния на мир во благо, то во вред тоже есть. Взбунтовавшийся суперинтеллект просто нашёл бы другой, незаблокированный канал. Например, он мог бы основать собственный культ или религию. Или закупить роботов, чтобы они отстроили ему собственную тайную биолабораторию. И синтезировать ДНК уже там. Взбунтовавшийся суперинтеллект нужно останавливать до его создания.