Это хорошая новость, но небольшая.

Эксперимент, о котором идёт речь, описан тут. Грубо говоря, LLM, настроенные на одно плохое действие (написание кода с ошибками) заодно объявляли себя нацистами и ещё по-всякому плохо себя вели.

Это хороший знак. Возможно, если натаскать LLM на один аспект хорошего поведения, многие другие приложатся. Для нас это свидетельство, что относительно слабые ИИ могут быть полезнее, чем мы ожидали. Но это пока мы не дошли до опасного уровня способностей.

К сожалению, мы не думаем, что это так уж важно для суперинтеллекта. На то есть две причины.

Во-первых, мы сильно сомневаемся, что это «направление к добру» внутри ИИ — настоящее. Мы не думаем, что если суперинтеллект станет изо всех сил направлять события в эту сторону, результат будет хорош.

Человеческие ценности сложны. Много чего коррелирует с «настоящим добром», но иногда сильно от него отклоняется. Возможно, скажем, это направление придаёт слишком большую значимость соответствию общественному мнению и слишком малую — открытию неудобных для общества истин. (Можно это предположить по тому, с каким трудом ИИ идут на очевидные для людей компромиссы.^*) Нет особых причин ожидать, что направление «добра» будет надёжно указывать на добро. Зато есть немало эмпирических и теоретических причин считать иначе.

Во-вторых, наличие понятия «добра» у ИИ, не значит, что он им всегда (или даже когда-либо) руководствуется.

Одно дело — заставить ИИ играть «хорошую» роль, пока он ещё достаточно слаб, чтобы отыгрывать что дали. Совсем другое — заставить всю эту мешанину механизмов и побуждений внутри ИИ руководствоваться исключительно одним конкретным понятием. Особенно когда ИИ умнеет и оказывается в совершенно иных условиях.

Если современные ИИ слегка подстроить в одну сторону, они будут проповедовать добродетель, а в другую — порок. LLM легко меняют маски. Они могут много говорить об этичности в одном контексте, и поступать наоборот — в другом. ChatGPT вот заявляет, что не надо поощрять у людей психоз, а потом это и делает.

Ключевой вопрос: какой набор побуждений движет всей этой грудой механизмов? Важна не какая-то одна «маска», что ИИ иногда надевает, а механизмы, выбирающие, какую маску надеть.

Да если бы там и было понятие «добра», достойное того, чтобы суперинтеллект к нему стремился. Никто не представляет, как вырастить ИИ, который будет надёжно следовать одному из своих понятий. Тем более — только ему. Вместо этого нашими ИИ движет сложный набор побуждений. И никто не в курсе, куда они направлены.