Нет.

Мы не предлагаем ждать формального доказательства, что искусственный суперинтеллект будет к нам добр. Вероятно, оно невозможно даже в теории, не говоря о практике. Как сказал Эйнштейн в лекции 1921 года «Геометрия и опыт»: «Пока законы математики описывают реальность, они не точны, — а пока они точны, они не описывают реальность».

Любое теоретическое доказательство и выкладки о поведении ИИ не дают гарантий в реальном мире. Мы можем ошибаться в том, как устроен этот мир.

С обычными компьютерами так же. Допустим, у вас есть строгое математическое доказательство. «Исходя из теории транзисторов и схемы компьютера, программа не может изменить ячейку памяти №2.» Казалось бы, ячейка в безопасности. Но вот атака «rowhammer». Она быстро переключает ячейки №1 и №3 по соседству с защищённой. И электромагнитные помехи переписывают данные в ячейке №2. Хотя программа в неё ничего не записывала. Реальные транзисторы отличаются от математически идеальных. Гладкие теоретические доказательства часто ничего не стоят на практике.

Мы не требуем математически доказать, что всё обойдётся. В жизни такой стандарт недостижим. Да и если был бы достижим, — не стоит бы затрат. Мы поддерживаем принятие оправданных рисков. Но тут проблема не в каком-то неустранимом мизерном риске. На нас мчится чудовищная опасность.

Если выращивать искусственный суперинтеллект, чьи устремления лишь косвенно связаны с намерениями создателей, всё закончится плохо по умолчанию. Мы говорим не о маленьком шансе сбоя, который на всякий случай стоит учесть. Книга не называется «Если кто-то его сделает, есть крошечный шанс, что все умрут, подстраховаться не помешает».

Если продолжить гонку с нынешним уровнем знаний, мы все предсказуемо умрём. Мы слишком далеки от возможности создать дружественный ИИ, значительно превосходящий людей.

Сидя в аналогичной ситуации в машине, мы бы не говорили «Тут барахлят ремни безопасности, лучше притормозить от греха подальше».

Мы бы кричали «Впереди пропасть! Тормози!»

Дело не в «доказательствах безопасности». Это не риск крайнего маловероятного случая. Учёные к этому не готовы. Мы просто умрём.