Голливудский «интеллект»

Концепция «интеллекта» в нашем понимании плохо представлена в массовой культуре, как под этим, так и под любым другим названием.

Голливудские фильмы печально известны среди учёных тем, что неверно показывают почти каждый аспект науки, которого касаются. Специалистов это тревожит, ведь многие люди действительно черпают представления о науке из кино.

То же самое происходит и с изображением интеллекта в Голливуде.

Мы видели много неудачных попыток серьёзно обсудить настоящий суперинтеллект. Часто эти разговоры заходят в тупик, когда люди не понимают, что «суперинтеллект» на самом деле значит.

Представьте, что играете в шахматы против бывшего чемпиона мира Магнуса Карлсена (которого ещё более сильные шахматные ИИ считают лучшим игроком в истории). Главный вывод из «Карлсен умнее (в области шахмат)», — он вас победит.

Если вы сами не очень хороши, то, вероятно, вы проиграете даже если Карлсен даст вам фору в ладью. Утверждение «Карлсен умнее меня в шахматах» можно понимать так: он способен выиграть у вас партию даже с меньшими ресурсами. Его когнитивное преимущество достаточно сильно, чтобы компенсировать материальный недостаток. Чем больше разница в ваших умственных способностях (в шахматах), тем больше фигур Карлсен должен вам уступить, чтобы играть с вами примерно на равных.

• Есть своего рода уважение, которое вы оказываете Магнусу Карлсену в области шахмат. Оно проявлялось бы в том, как вы интерпретируете его ходы. Представьте, что Карлсен делает ход, и он кажется вам плохим. Вы не потираете руки в предвкушении его ошибки. Вместо этого вы смотрите на доску, чтобы понять, что вы упустили.

Это редкий вид уважения одного человека к другому! Чтобы заслужить его от незнакомца, обычно нужно быть исключительно хорошим сертифицированным профессионалом. И то уважение будет касаться только этой одной профессии. Ни у кого на Земле нет всемирной репутации человека, никогда не совершающего глупостей в целом.

И это концепция интеллекта, которую Голливуд вообще не понимает.

Для Голливуда было бы характерно показать, как десятилетний ребёнок ставит мат Магнусу Карлсену, «[делая нелогичные ходы]». Ни один профессиональный шахматист не стал бы их рассматривать, потому что они слишком безумны. И так ребёнок застаёт Карлсена «врасплох».

Когда Голливуд изображает «суперумного» персонажа, он обычно опирается на стереотипы о «ботаниках против качков» и показывает, что более умный герой, скажем, неумел в романтических отношениях. Иногда ему просто дают британский акцент, изысканный словарный запас, да и сойдёт.

Голливуд обычно не пытается изобразить «суперумного» персонажа делающим точные прогнозы или выбирающим действительно работающие стратегии. Для таких героев нет стандартного голливудского тропа. К тому же это исключило бы «сюжеты, построенные на глупости» (требующие чтобы персонаж сделал нечто глупое для самого себя, но удобное для сценариста), а их легче писать.

В английском языке нет устоявшегося термина только для настоящей широкой ментальной компетентности, никак не связанного со стереотипами о «ботаниках и качках». Поэтому, если попросить Голливуд прописать «интеллектуального» персонажа, там не будут пытаться изобразить его «выполняющим сложную когнитивную работу и, как правило, успешно достигающим своих целей». Скорее, это будет просто кто-то запомнивший много научных фактов.

Действительно пугающий умный злодей, если бы все в аудитории видели очевидный недостаток в плане, увидел бы его тоже.

В фильме «Мстители: Эра Альтрона» якобы гениальный ИИ по имени Альтрон получает от своего якобы гениального создателя Тони Старка^* директиву — содействовать «миру во всём мире». Альтрон, конечно, сразу понимает, что отсутствие войн надёжнее всего обеспечивается отсутствием людей. Поэтому ИИ стремится уничтожить всю жизнь на Земле...

...для чего он прикрепляет к городу ракеты и поднимает его в космос, чтобы сбросить подобно метеориту... и охраняет его летающими человекоподобными роботами, которых можно победить, хорошенько стукнув.

Предлагаем задаться вопросом: «Если значительная часть аудитории видит, что для достижения целей злодея были планы получше, увидел бы это и опасно умный ИИ?»

Это — часть уважения к по-настоящему умному гипотетическому существу. Мы исходим из того, что оно умнее нас. Как минимум, оно поймёт всё, что можем понять мы сами.

В былые дни нам пришлось бы абстрактно обосновывать, что машинный суперинтеллект, возможно, был бы «умнее» таких вымышленных примеров.

Сегодня достаточно поболтать с ChatGPT-4o. Мы спросили: «Каков был план Альтрона в „Эре Альтрона“?», а затем: «Учитывая заявленные цели Альтрона, видишь ли ты более эффективные методы, которые он мог бы использовать для их достижения?». ChatGPT-4o быстро ответила длинным списком идей по уничтожению человечества. Среди них была и «создать направленный вирус».

Вы, может, скажете, что ChatGPT-4o взяла эту идею из интернета. Что ж, если так, то Альтрон, очевидно, был недостаточно умён, чтобы почитать, что пишут в интернете.

Получается, ChatGPT-4o (на момент написания этого текста в декабре 2024 года) ещё недостаточно умна, чтобы спроектировать армию человекоподобных роботов со светящимися красными глазами, но уже достаточно умна, чтобы понять — есть варианты получше.

Нас беспокоит не ИИ, который построит армию человекоподобных роботов со светящимися красными глазами.

Нас беспокоит ИИ, который посмотрит на эту идею и подумает: «Должны быть способы побыстрее и понадёжнее».

Считать что-то значительно более умным, чем вы сами — это проявлять к нему как минимум такое уважение: оно разглядит те слабые места, которые вы и сами видите. А оптимальный ход, который оно найдёт, вполне может оказаться сильнее всех, которые нашли вы.

Суперинтеллект и эффективный рынок

Есть ли в реальной жизни примеры чего-то, что умнее любого человека? ИИ вроде Stockfish — конкретно в шахматах. Но как насчёт более широких областей?

В «Подробнее об интеллекте как прогнозировании и направлении» мы уже упоминали один пример, помогающий укрепить интуицию, — фондовый рынок.

Допустим, ваш дядя покупает акции Nintendo, потому что ему понравилась Super Mario Bros. Он посчитал, что Nintendo заработает много денег. А значит, если он купит их акции, то и сам наверняка разбогатеет.

Но кто-то продал ему акции Nintendo по 14,81 доллара. Эти люди решили, что лучше иметь 14,81 доллара, чем акцию Nintendo. Разве они не слышали о Super Mario?

— Ну, — говорит ваш дядя, — может быть, я покупаю акции у какого-нибудь безразличного управляющего пенсионным фондом, который игры в глаза не видел!

Представьте, если бы до этого никто в мире финансов не слышал о Super Mario, и акции Nintendo продавались по доллару. И тут об игре узнаёт один хедж-фонд! Его сотрудники бросятся скупать акции Nintendo. В процессе цена на них вырастет.

Любой, кто торгует и зарабатывает при помощи своих знаний, помогает включить их в цену актива. Нельзя извлекать из одного факта бесконечную прибыль. Заполучение доступных денег из неверной оценки не бесконечно. Оно включает информацию в цену и исправляет её.

Фондовые рынки объединяют информацию от кучи разных людей. Такой способ суммирования знаний многих участников куда мощнее, чем если бы они проголосовали. Настолько мощнее, что очень мало кто может предсказать завтрашнюю цену лучше, чем хорошо торгуемый рынок!

И, конечно, их «очень мало». Процесс сбора информации несовершенен. Но будь он настолько плох, чтобы многие были способны лучше предсказать ближайшие изменения цен — они бы этим и занимались. Поднимали бы миллиарды долларов, пока лишних денег просто не осталось бы, потому что все предыдущие сделки их «съели». И это скорректировало бы цены.

Почти всегда это уже произошло до вас. Трейдеры очень стараются сделать это первыми. Счёт буквально на миллисекунды. Поэтому ваша блестящая идея, как торговать на рынке акций, скорее всего не принесёт вам богатства.

Это не значит, что сегодняшние рыночные цены идеально прогнозируют цены через неделю. Только что когда речь идёт о хорошо торгуемых активах, вам трудно знать лучше рынка.^†

Можно обобщить эту идею. Представим, что на Землю прилетели безумно развитые инопланетяне. Их наука и технологии опережают наши на тысячелетия. Стоит ли ожидать, что инопланетяне смогут идеально сказать, сколько в Солнце атомов (пренебрежём некоторыми тонкостями того, что считать атомом)?

Нет. «Более развитый» не значит «всеведущий». Думается, это не смог бы точно вычислить даже полноценный суперинтеллект.

Но что точно неправильно, так это «Ну, атомы очень лёгкие. Инопланетяне, скорее всего, это упустят, так что они, вероятно, ошибутся в меньшую сторону процентов на десять». Если мы можем до этого додуматься, то инопланетяне тоже. Все наши блестящие догадки уже должны быть учтены в их расчётах.

То есть оценка инопланетян будет неверной. Но мы не можем предсказать, как именно. Мы не знаем, будет ли их оценка завышенной или заниженной. Сверхразвитые пришельцы не допустят очевидных для нас научных ошибок. Мы должны уважать их так же, как Магнуса Карлсена в шахматах.

В экономике такая идея, применимая к изменению цен на активы, называется (нам кажется, зря) «гипотезой эффективного рынка».

Услышав этот термин, многие люди сразу же путают его со всякими бытовыми трактовками слова «эффективность». Это иногда вызывает споры. Одни настаивают, что эти «эффективные» рынки обязательно мудры и справедливы. Другие — что мы не должны перед ними преклоняться.

Если бы экономисты назвали это «гипотезой неэксплуатируемых цен», люди, может, меньше бы её неверно толковали. На деле она именно об этом. Не что рынки совершенно мудры и справедливы, а что определённые рынки трудно эксплуатировать.

Но стандартным термином стало «эффективный». Приняв это, мы могли бы назвать обобщённую идею «относительной эффективностью». Нечто не обязано быть идеально эффективным, чтобы оно было эффективно относительно вас.

Например, «Алиса эпистемически эффективна (относительно Боба) (в определённой области)» означает: «Вероятности из прогнозов Алисы могут быть не совсем идеальны, но Боб не может предсказать никакие её ошибки (в этой области)». Именно такое уважение большинство экономистов оказывают краткосрочным ценам на ликвидные активы. Прогнозы рынка «эффективны» относительно их способностей.

«Алиса инструментально эффективна (относительно Боба) (в определённой области)» означает: «Алиса может и не идеально достигает своих целей, но Боб не может предсказать никакие её ошибки направления событий». Такое уважение мы оказываем Магнусу Карлсену (или ИИ Stockfish) в области шахмат. И Карлсен, и Stockfish делают «эффективные» ходы относительно нашего умения играть в шахматы.

Магнус Карлсен инструментально эффективен относительно большинства людей, хоть и не инструментально эффективен относительно Stockfish. Карлсен может делать проигрышные ходы в игре против Stockfish, но не стоит думать, что вы сами (без посторонней помощи) могли бы найти для него ходы получше.

Эффективность не просто означает «кто-то немного умелее вас». Вы, вероятно, чаще проигрывали бы в шахматы против лишь немного лучшего игрока. Но иногда у вас получалось бы правильно распознать грубую ошибку. Чтобы вы действительно не могли заметить ошибок и слабостей оппонента, нужен разрыв побольше. Для эффективности относительно вас он должен быть так велик, что, когда ход противника кажется вам плохим, вы сомневаетесь в своей оценке.

Мы считаем, что это обобщение идеи эффективных рыночных цен должно быть стандартным разделом в учебниках по информатике (или, возможно, экономике), но его там нет. См. также мою (Юдковского) онлайн-книгу «[Неадекватные равновесия: где и как цивилизации заходят в тупик]».

Именно этой идеи, кажется, недостаёт изображениям «суперинтеллекта» в массовой культуре и голливудских фильмах. Её недостаёт и разговорам об ИИ, когда кто-то придумывает такие способы перехитрить суперинтеллект, что даже противник-человек их предвидел бы.

Может, причина — склонность к оптимизму. Или ощущение, что ИИ должны быть холодными и излишне логичными существами с критическими слепыми пятнами. Как бы то ни было, у этой когнитивной ошибки есть реальные последствия. Если вы не уважаете силу интеллекта, вы совершенно не понимаете, что значило бы для человечества создать суперинтеллект. Вы можете всё ещё пытаться найти выигрышный ход против суперинтеллекта, который предпочёл бы, чтобы вас не было, а ваши ресурсы были использованы для других целей. Но единственный выигрышный ход — не играть.