Даже лень небезопасна.

ИИ-компании вряд ли станут создавать «ленивые» ИИ. Это конкурентная отрасль, а так много не заработаешь. Пользователям не понравится, если ИИ будет лениться выполнять их запросы. А компании не захотят, чтобы он спустя рукава занимался максимизацией вовлечённости пользователей или совершенствованием собственного мышления.

Но даже если бы компании попытались сделать ИИ по-настоящему «ленивым», они бы потерпели неудачу. Никто не знает, как надёжно нацелить ИИ на что бы то ни было, чтобы это сохранилось при переходе к суперинтеллекту. Мы уже говорили об этом в Главе 4.

К тому же, добиться надёжной лени кажется особенно сложной задачей (см. расширенное обсуждение ниже).

Но даже если преодолеть все эти препятствия, «лени» ИИ недостаточно, чтобы избежать катастрофы, когда он станет умнее человека.

Представьте себе очень ленивого человека. Такого, что ненавидит делать хоть капельку больше необходимого. Кажется довольно безопасным, да.

А теперь представьте, что случится, если этот лентяй увидит простой способ создать кого-то гораздо более трудолюбивого и спихнуть на него всю работу.

Пусть даже ленивый суперинтеллект не так уж и ненавидит трудиться. Предположим, он просто делает необходимое и на этом останавливается, не пытаясь изо всех сил минимизировать усилия. Став достаточно умным, он всё равно, вероятно, сочтёт, что проще всего — создать более трудолюбивый разум и поручить задачу ему.

В техническом контексте можно сформулировать так: «„Удовлетворяющие“ ИИ — это нестабильное равновесие». Даже если ИИ не хочет прилагать много усилий, это не помешает ему создать другой ИИ, который будет стараться. Он даже не будет против изменить себя и «излечиться» от лени. Ну, если для этого найдётся достаточно ленивый способ.