А как же польза ИИ умнее людей?
Если поспешить, её не будет.
Мы оптимистично смотрим на то, каким чудесным может стать суперинтеллект, если он будет направлять мир к благим целям. Если человечество так никогда и не создаст разум умнее себя, мы посчитаем это огромной трагедией.
Но согласование суперинтеллекта — не данность. В погоне за выгодой мы не получим ничего. Или ещё меньше.
Я (Юдковский) сам несколько лет был акселерационистом. Я надеялся создать ИИ как можно скорее. Пока не понял, что согласование не произойдёт само собой. Оба автора мечтают о прекрасном трансгуманистическом будущем. Но гонка нас туда не приведёт.
Выбор — вовсе не рискнуть ради плюсов ИИ сейчас (каким бы малым ни был шанс) или полностью от них отказаться. Реальный выбор — безрассудно мчаться вперёд и убить всех — или повременить и сделать всё как надо.*
«Сейчас или никогда» — ложная дилемма.
*Некоторыелюдиутверждают, что нужно рискнуть сейчас ради шанса предотвратить естественные смерти от старости. Человеческие тела устроены сложно. Но с научным прогрессом мы могли бы победить многие привычные недуги — рак, болезни сердца и само старение. ИИ умнее людей помог бы достичь этого куда быстрее. Задержка суперинтеллекта буквально стоит жизней.
Точнее, стоила бы, если бы не то обстоятельство, что суперинтеллект ровно тех же людей и убьёт.
Вообще, у сегодняшних больных и умирающих больше шансов выжить, если человечество отступит от края пропасти:
Биомедицинские исследования и поиск лекарств могут идти и без суперинтеллекта. Перспективы генной терапии, вакцин от рака и других инноваций огромны. К ним только начинают подступаться.
Эту работу может ускорить и узкоспециализированный ИИ. Безо всякой угрозы всему человечеству от обобщённого ИИ умнее людей.
Криосохранениемозга позволяет даже после остановки сердца „поставить на паузу“ людей, пока медицина не научится их оживлять и возвращать им здоровье. ИИ, способный подарить бессмертие, почти наверняка сможет и восстановить человека по грамотно сохранённому мозгу.
(Часть этих людей тихонечко добавит, что делает это ради личного бессмертия. Они готовы рискнуть жизнями всех взрослых и детей на планете ради малого шанса для себя и близких. Нам это кажется карикатурным злодейством. Наш совет этим злодеям тот же, что и альтруистам: подпишитесь на сохранение мозга. Шансы выше, чем с вышедшим из-под контроля суперинтеллектом. И не придётся подвергать смертельной опасности всех живых людей ради своего шанса на бессмертие! Сплошная выгода.)
Даже волнуй нас только благополучие больных, разумнее сделать ставку на сочетание этих методов. Уж лучше, чем надеяться, что значительно превосходящий людей ИИ нас полюбит. (И именно так, как надо.) В этой игре колода подтасована против нас.
И ещё: насколько нам известно, никто не спрашивал больных, хотят ли они подвергать страшной опасности семью и соотечественников ради шанса на возможное лекарство, произведённое суперинтеллектом. А семьи и соотечественники точно не давали согласия ставить свои жизни на кон в этом безумном эксперименте.
Не нужно рисковать всеми жизнями человечества, когда есть много других путей.
Мы умоляем всех, кого заботит благополучие людей: ускоряйте перечисленные выше методы. Но держитесь как можно дальше от всего, что хоть немного приближает искусственный суперинтеллект.
Если вы просто не верите, что вышедший из-под контроля суперинтеллект нас убьёт, — это одно. Но признавать, что он, вероятно, всех убьёт, и говорить, что рискнуть всё равно надо, — безумие. Проблемы современного мира можно решить и по-другому. Если вам неприятно жить на высокогорье, это не повод прыгать с обрыва. Найдите другой путь вниз.