Это онлайн-материалы к главе 5 книги «Если кто-то его сделает, все умрут». Некоторые темы мы тут не рассматриваем, потому что они уже разобраны в книге. Например:

• Какой у ИИ будет мотив нас уничтожить?

• Разве достаточно умные ИИ не поймут, что правильнее всего — помочь нам всем процветать вместе?

• Разве люди не останутся ценными для суперинтеллекта, например, в качестве торговых партнёров?

• Вселенная большая. Почему бы ИИ просто не оставить нас в покое?

• А не будет ли это осмысленным концом для человечества, если мы позволим заменить себя чем-то более умным?

ЧаВо к этой главе довольно длинный. В книге мы упоминали много встречающихся «надежд и утешений» о том, как, несмотря на описанные в Главе 4 проблемы, машинный суперинтеллект мог бы принести пользу человечеству. Здесь мы собрали их в удобный список, по которому быстро пройдёмся. Многие ответы пересекаются. Самые важные и общие: люди — не самое эффективное решение почти для любой задачи, а ИИ вряд ли будет хоть немного о нас заботиться. В конце ЧаВо мы обсуждаем сознание и мораль ИИ.

В расширенном обсуждении мы подробнее разбираем, как посмотреть на вещи с точки зрения ИИ. Заодно немного конкретнее обсуждаем Тезис Ортогональности (грубо говоря: любой уровень интеллекта можно совместить почти с любой конечной целью) и исправимость (грубо говоря: как сделать мощный ИИ, не отказывающийся от исправлений).