Мы говорим, что представители власти должны отнестись к проблеме всерьёз.

Мы не видим, чем паника поможет. Не паника помогла обществу справиться с угрозой фашизма во Вторую мировую войну. Не паника помогла пережить угрозу ядерного уничтожения позже.

Предотвратить появление машинного суперинтеллекта — общая задача. В Главе 13 мы обсудили шаги, которые, по нашему мнению, надо предпринять для устранения опасности. И тут нужны координация, сотрудничество, хладнокровие и адекватная коммуникация.

Крайняя паника к добру не приводит.

Иногда нас спрашивают: если мы искренни, почему мы, например, не нападаем на разработчиков ИИ? Ответ прост: вспышки насилия сделают только хуже. (Наивным утилитаристам, которые думают, что насилие поможет, вероятно, стоит вовсе отказаться от консеквенциалистских рассуждений и просто следовать деонтологическим правилам. Мы уже об этом писали.)

Мы не радикальные пацифисты, считающие, что страна никогда не должна вступать в войну, независимо ни от чего, ведь могут погибнуть люди. Есть вещи, ради которых стоит рисковать жизнями. Но между «я не радикальный пацифист» и «я считаю кровавый хаос разумным способом решения сложной проблемы распространения технологий» — огромная пропасть.

Те, кто высказывают такие ужасные предложения, обычно на не верят, что ИИ вот-вот нас убьёт. Они не пытались по-настоящему взглянуть на мир через эту призму. Им, видимо, не приходит в голову, а поможет ли на самом деле беззаконное насилие? (Хотя мы много раз это проговаривали, например, тут.)

Мы не телепаты. Но, кажется, подобные скептики могут рассматривать насилие как форму самовыражения. Будто выражение сильных чувств экстремальными методами заставит мир преподнести вам желаемое.

Мир так не работает. Это не тот мир, где можно взять и продать душу за успех в своих начинаниях. Где те, кто так не делает, просто не нашли подходящего стоящего дела. Терроризм — не волшебная кнопка «Я победил!», которую люди не нажимают только из моральных убеждений. Унабомбер не повернул вспять индустриализацию общества.

Вы всё равно можете изуродовать свою душу ненавистью или насилием. Но взамен получите лишь ещё более сломанный мир. Где дискурс токсичнее, а достичь необходимой для реального решения проблемы международной координации ещё труднее. Ужасные акты отчаяния не даруют вам ужасной власти фаустианской сделкой. Можно изо всех сил пытаться продать душу, дьявол её не купит.