Задача согласования ИСИ: как получить от искусственного суперинтеллекта (ИСИ) полезную работу, причём надёжно и без катастроф? Это очень сложно по многим причинам.

Ниже — ответы на вопросы читателей десятой главы «Если кто-то его сделает, все умрут». Мы разберем пользу исторических аналогий и обсудим планы, которые могут упростить задачу. Чтобы не пересказывать книгу, мы пропустим эти вопросы:

• Что делает сложной инженерную задачу?

• С какими трудными задачами человечество уже сталкивалось? Какие уроки из них можно извлечь?

• Что делать, если заранее известно — задача сложная? Надо пробовать как-то по-другому?

В «Расширенном обсуждении» мы разбираем, почему у нас есть лишь одна попытка согласования. А ещё о том, сколько теории и знаний потребовалось для обеспечения безопасности первого в мире ядерного реактора.