«Согласованный с кем?»
Трудный вопрос. Но разработку нужно остановить независимо от ответа.
Если человечество когда-нибудь создаст суперинтеллект, нужно убедиться, что он «согласован» с нашими ценностями. Но с чьими именно? Люди сильно расходятся во мнениях о добре и зле, религии, социальных нормах, политике и многом другом.
Сейчас этот вопрос не очень актуален. Человечество не умеет закладывать в ИИ никакие конкретные цели. Споры, какие цели идеальны, бесполезны. Спешка при создании суперинтеллекта погубит всех. Люди о многом несогласны. Но мало кто считает благом уничтожение жизни на Земле.
Задача выбора конкретных ценностей для загрузки в ИИ кажется заковыристой. Хорошо было бы решать именно её. Но мы столкнулись с другой задачей. Куда более страшной.
Вообще необязательно сходиться во мнениях, с кем согласовывать ИИ (и нужно ли вообще его создавать), чтобы договориться о международном запрете. Ведь иначе мы умрём. ИИ порождает кучу интересных философских вопросов. Но слишком на них отвлечёмся — погубим своих детей.
Наш практический совет мировым лидерам:
«Спешить ли с созданием суперинтеллекта?» должно быть отдельным вопросом от «Что нам делать с суперинтеллектом, если мы вдруг сможем сделать его безопасно?». Сосредоточьтесь на первом. Он срочный и требует немедленных действий. Второй вопрос, может, когда-нибудь станет важным. Но сейчас это ловушка. Он заставляет видеть в суперинтеллекте приз. Ошибочная вера, что создатель суперинтеллекта решит, что с ним делать, втягивает в самоубийственную гонку.
СИИ — кнопка для суицида, а не джинн в лампе. Создав суперинтеллект, вы им не «владеете». Это скорее он получает в своё распоряжение вас и планету.
Вам всё же хочется обсудить, как человечеству (если мы до этого доживём) использовать суперинтеллект? Мы настоятельно советуем избегать идей, провоцирующих гонку. Не предлагайте то, что заставит другие страны отказаться от международных соглашений по поводу ИИ или нарушить их. Любой сценарий, где «победитель получает всё» очень опасен для мира.
Есть идеи, как решить сложный вопрос «с кем согласовывать?» довольно универсально и честно, не провоцируя гонку. Например, предложить ИИ следовать «когерентному экстраполированному волеизъявлению» (CEV) всего человечества.* Но и тут можно без конца спорить о принципах, компромиссах и сложных деталях реализации. Это всё важно для мира, где люди уже знают, как точно и надёжно направить суперинтеллект. Но ставить их во главу угла сейчас — значит упустить суть. Не рискуйте сорвать попытки объединиться ради общей цели — спасти мир.
Даже когда в долгой перспективе вопрос очень важен, не привязывайте к выживанию человечества ничего дополнительного.
*Когерентное экстраполированное волеизъявление (Coherent Extrapolated Volition, CEV) — наша попытка ответить на вопрос «согласованный с кем?». Если мы доживём до момента, когда создатели ИИ смогут его направлять. CEV пытается разрешить моральные и мета-моральные разногласия. ИИ получает задачу: найти, в чём люди сошлись бы во мнении, если бы знали больше и были теми, кем хотят быть (как в теории идеального советника). И искать общие мета-принципы, к которым можно прибегать при фундаментальных разногласиях. (Цель тут не в том, чтобы ИИ «решил все проблемы» людей, а чтобы решил достаточно и без катастрофы.) Мы рекомендуем экстраполяцию ценностей всех живых людей. Не потому, что это идеал. Потому что это очевидная точка координации для несогласных сторон. (И потому, что другие сущности, важные для людей, получат вес косвенно, через их ценности. И сущности, которые для людей были бы важны, знай они больше — тоже.)
Но ещё раз: сейчас эта тема скорее отвлекает. Не обязательно соглашаться по высоким философским вопросам, чтобы принять меры по поводу того, что грозит нас убить. Было бы глупо позволить дебатам о таких идеях (даже тех, что нам нравятся) сорвать работу по нераспространению.
Мы кратко упоминаем это, чтобы показать: мы не уходим от вопроса. И чтобы успокоить читателей, боящихся, что рабочего предложения не существует. Даже если CEV — неверный подход, у него много желательных свойств. Это вселяет надежду, что найти некатастрофический ответ реально.