В среднем мы не ожидаем заработать на книге. И ещё — мы будем рады, если её тезис ошибочен.

Мы (Соарес и Юдковский) получаем зарплату в Институте исследований машинного интеллекта (MIRI). Он финансируется пожертвованиями людей, считающих эту тему важной. Возможно, книга привлечёт пожертвования.

Но у нас есть и другие возможности зарабатывать. Мы занимаемся написанием книг не ради денег. Наш аванс за эту книгу целиком пошёл на её рекламу, а все гонорары достанутся MIRI, чтобы возместить рабочее время и усилия сотрудников.^*

И конечно, оба автора были бы в восторге, если бы пришли к выводу, что наша цивилизация в безопасности. Мы бы с удовольствием вышли на пенсию или стали зарабатывать как-то иначе.

Мы не думаем, что нам было бы трудно изменить мнение, если бы доказательства это оправдывали. Уже меняли. MIRI был основан (под названием «Институт сингулярности») как проект по созданию суперинтеллекта. Юдковскому понадобился год, чтобы понять — само по себе это ничем хорошим не кончится. И ещё пара лет, чтобы понять — довольно сложно заставить это дело кончиться хорошо.

Мы уже меняли своё мнение, и были бы рады сделать это снова. Просто мы не считаем, что это оправдано свидетельствами.

Мы не думаем, что ситуация безнадёжна. Но мы действительно считаем проблему реальной, и думаем, что если мир не примется за неё всерьёз, ему грозит ужасная опасность.

Подчеркнём: для понимания, находится ли ИИ на пути к тому, чтобы убить нас всех, нужно думать про ИИ. Если думать только о людях, можно найти причины отвергнуть любой источник. Академики оторваны от жизни; корпорации пытаются раздуть ажиотаж; некоммерческие организации хотят собрать деньги; любители не знают, о чём говорят.

Но если пойти этим путём, то финальные убеждения будут определяться тем, кого вы решили отвергнуть. Вы не будете давать аргументам и свидетельствам шанса изменить ваше мнение, если оно неверно. Чтобы понять, где правда, не обойтись без оценки аргументов и их собственной осмысленности, независимо от того, кто их выдвинул.

Наша книга не начинается с дешёвого аргумента, что корпоративные руководители лабораторий ИИ заинтересованы убедить население, мол, ИИ безопасны. Она начинается с обсуждения ИИ. Позже в книге мы немного касаемся исторических случаев, когда учёные были слишком оптимистичны. Но мы никогда не говорим, что какие-то аргументы лучше игнорировать, потому что их авторы из ИИ-лаборатории. Мы обсуждаем некоторые реальные планы разработчиков и то, почему они по объективным причинам не сработали бы. Мы изо всех сил стараемся поговорить о реальных аргументах, потому что значимы именно они.

Если вы считаете нас неправыми, приглашаем вас показать, где конкретно. Мы считаем это более надёжным способом найти правду, чем переходить на личности и мотивации. Даже если самый предвзятый человек в мире говорит, что идёт дождь, это не значит, что вокруг солнечно.