Это самоубийство. Мы слишком далеки от решения задачи согласования.

В последние лет десять некоторые люди, обеспокоенные угрозами ИИ, предлагали развивать его как можно быстрее. Идея вот в чём: пусть самые умные модели требуют для работы почти всё мировое «железо». Тогда никакой одиночный прорыв не выпустит тысячи мощных ИИ, думающих в тысячи раз быстрее человека, внезапно.

Пока человечество тратит львиную долю мощностей на запуск умнейших ИИ, перемены будут идти постепенно. У людей будет время приспособиться. Без «опережения по железу» не будет момента, когда возможности ИИ резко скакнут вперёд, потому что мир резко направит больше оборудования на запуск новых моделей. Ну, таков был аргумент.

Нам этот довод кажется весьма слабым. Одна из проблем: интеллект, вероятно, подвержен пороговым эффектам.

Переход от уровня шимпанзе к уровню человека не был «скачкообразным». Всё шло плавно. Но по эволюционным меркам — очень быстро. А переход от доиндустриальной цивилизации к постиндустриальной — ещё стремительнее. Недостаточно плавно, чтобы другие животные успели хоть как-то приспособиться.

Например, ИИ, потребляющий огромную долю мировых мощностей, может оказаться достаточно умным для создания новых алгоритмов и чипов. И вскоре после этого появится множество систем умнее и в тысячи раз быстрее человека. (Помните: современный дата-центр тратит энергию как небольшой город. А человек — как мощная лампочка. У эффективности ИИ огромный простор для роста).

А если узкое место — мощности для обучения, а не запуска, у готового ИИ будет огромный избыток железа. Можно будет запустить сразу много и на большой скорости.

Даже если пороговых эффектов нет, стратегия сомнительная. Вряд ли стоит как можно быстрее закидывать человечество всё более умными моделями. Даже не способными нас убить. Это плохой путь привить людям инженерную дисциплину, необходимую для создания надежно дружелюбных ИИ.

Проблема в том, что ИИ выращивают, а не конструируют. Мы и близко не подошли к пониманию, как вырастить модель, надёжно стремящуюся к чему угодно конкретному, что хотят её создатели.

Эту задачу не решить, штампуя новые ИИ при первой же возможности. Это бессмыслица. См. старую работу Соареса о том, что согласование требует последовательной работы.

Тем не менее, эту бессмыслицу подхватил гендиректор OpenAI Сэм Альтман.В 2023 году он оправдывал ею бешеную спешку своей компании.

Оправдание оказалось пустышкой, когда тот же Альтман кинулся наращивать вычислительные мощности в огромных масштабах.

Это наглядный пример того, как боссы ИИ-компаний хватаются за любой довод, оправдывающий спешку. Большинство таких аргументов не выдерживают критики. Мы не советуем доверять им лишь потому, что они исходят от руководителя корпорации. (См. также раздел «Рабочие планы будут подразумевать отказы ИИ-компаниям» материалов к Главе 12.)