А не разумнее поспешить, чтобы лидерство досталось «хорошим парням»?
Нет.
Современные методы не создают ИИ, выполняющий намерения операторов. На такие задачи у человечества обычно уходит немало проб и ошибок. А здесь права на ошибку нет (как мы писали в Главе 10).
К тому же, нынешние разработчики ИИ совершенно не готовы к этой задаче. Мы говорили об этом в Главе 11. Им остро не хватает научного понимания. А без него ИИ не согласовать. Разработчики ИИ не похожи на операторов Чернобыльской АЭС. Те работали с устройством, теория которого была хорошо изучена. С подробными инструкциями по безопасности. Просто они им не следовали. Что и привело к катастрофе. Нет никакой инструкции по безопасности ИИ, основанной на адекватном понимании его «внутренностей» и причин возможных сбоев. Нам далеко до чернобыльского уровня компетентности. А Чернобыль взорвался.
Разработчики ИИ действуют вслепую и наугад. Почти без шансов на успех.
Так что не важно, кто создаст суперинтеллект, «хорошие парни» или «плохие». Предпочтения не передаются ИИ от ближайшего человека воздушно-капельным путём.
Не важно, насколько благие у них намерения. Не важно, насколько осторожны они на словах. Не важно, кто «победит» в гонке. На финише погибнут все.
Остановиться реально. Может, даже не так уж и сложно.
Мы вернёмся к этому в последней главе книги.
Изменения бывают. Особенно при отчаянной, срочной и осознанной необходимости. Главное препятствие для остановки — мировые лидеры не осознают опасности. Но лёд уже тронулся. (см. раздел «Признают ли опасность выборные представители власти?» материалов к Главе 13.)