Человеческие ценности — следствие обстоятельств
Великая случайность доброты
Видя, как кто-то роняет камень себе на палец, вы можете поморщиться и почувствовать (или представить) укол фантомной боли в своём собственном пальце. Почему?
Есть такая догадка: наши предки-гоминиды конкурировали друг с другом и участвовали в племенной политике. Им было полезно строить ментальные модели мыслей и переживаний окружающих. Они помогали определить, кто друг, а кто собирается предать.
Но ранним прото-людям было трудно предсказывать работу мозга других прото-людей. Мозг — сложная штука!
Зато у нашего предка была хитрая лазейка — его собственный мозг похож на мозг других. И свой можно использовать как шаблон, как отправную точку, чтобы попробовать угадать, о чём думают другие гоминиды.
Поэтому у прото-людей развился механизм мышления, притворяющийся другим человеком. Особый режим: «Не думать свои обычные мысли, а попробовать принять предпочтения и знания другого человека, и думать, как думал бы он, ведь его мозг работает примерно так же».
Но этот особый режим «притворись-кем-то-другим» не полностью изолирован от наших собственных чувств. Мы видим, как кто-то роняет камень себе на палец, автоматически представляем, что может происходить у него в голове. И морщимся.
(Эта великая случайность ментальной архитектуры заслуживает, чтобы её воспевали побольше. Способность морщиться, видя, как кому-то больно, пусть мы её иногда и отключаем, — это же не обязательная черта разума. Это приматы оказались такими. И это критически важно для того, кто мы, люди, есть, кем мы рады быть, кем, по нашему мнению, мы должны быть. Это заслуживает своей книги. О фундаментальной роли эмпатии для всего ценного, что есть в людях. Но это другая книга.)
Можно предположить и что когда предки-приматы развили навыки моделирования других обезьян (чтобы предсказать, кто друг, а кто враг), им стало полезно моделировать и самих себя. Полезно развить идею «обезьяны-которая-вот-эта-обезьяна». Мы обозначаем её словом «я». И естественный отбор ухватился за возможность и перепрофилировал тот же механизм для представления других ещё и на себя.*
Вероятно, настоящая история сложнее и запутаннее. Возможно, она началась куда раньше приматов. Но что-то такое есть в огромной невидимой предыстории того, почему люди морщатся, видя боль других, и почему люди обычно склонны чувствовать эмпатию и сочувствие к окружающим. Там поучаствовал удобный для естественного отбора «хак», что «я» и «другой» — это один и тот же тип мозга, работающий на одной и той же архитектуре.
Градиентному спуску этот «костыль» в том же виде недоступен. У ИИ изначально нет почти такого же мозга, чтобы перепрофилировать его для моделирования окружающих людей. Ему придётся с нуля изучить модель чего-то внешнего и непохожего.
Проще говоря: изначально ИИ не может понять, что если человек ушиб палец, ему больно, представив, как сам ИИ ушибает палец. Ведь у него нет ни пальцев, ни нервной системы с болевыми сигналами. Он не может предсказать, что покажется людям смешным, подумав, что показалось бы смешным ему. Потому что у него изначально нет мозга, работающего как человеческий.
Мы тут упрощаем. Общая мысль, которую хотим донести: высшие идеалы человечества появились благодаря особенностям древней истории и социального эволюционного окружения приматов. Дружба — далёкое эхо нашей потребности в союзниках в племенной среде. Романтическая любовь — далёкое эхо наших половых диморфных моделей спаривания. Даже то, что кажется на первый взгляд менее произвольным и более фундаментальным, например, любопытство — не единственно возможный или очевидно универсальный путь.
То, как конкретно у нас развились эти психологические черты, связано с сложностью нашего мозга на момент, когда они нам понадобились. У людей дружба, романтическая и семейная любовь слились в общую доброту и благожелательность. Думаем, так эволюция срезала путь в специфический момент. В людях много эвристик, которые в принципе можно было бы заменить явными рассуждениями. Но эти развились, когда люди ещё были недостаточно умны для них.
Непонятно даже, как часто мы бы встречали доброту среди других биологически эволюционировавших разумов. Представьте себе инопланетян, чей мозг лучше развил математическое мышление до того, как они начали объединяться в большие группы. Возможно, эволюции было легко дать им очень конкретные инстинкты по поводу родства — «вот он разделяет пятьдесят процентов моего происхождения, а он — только двенадцать с половиной». Союзы у них всегда основывались на общих генетических данных или явном взаимопонимании, а не на распространении чувства родства на кого угодно.
В научной фантастике издавна встречаются инопланетяне со схемой родства как у эусоциальных насекомых. Родственные связи между рабочими муравьями и их королевой гораздо ближе, чем между людьми в организациях размером с муравейник. Такие инопланетяне могли бы обойтись без чувства союзничества и взаимности, полезного для гоминид. (Можно, оказывается, немного оправдать научно-фантастический троп, что инопланетян, которые хорошо работают вместе, но не испытывают эмпатии к людям, часто изображают как гигантских насекомых!)
А что с ИИ, которые не эволюционировали для распространения генов в социальной среде? Тут полностью применим аргумент «не ожидайте, что рука робота будет мягкой и полной крови».
Если много знать том, как работают биологические руки, не встречая роботизированных, можно подумать, что рукам роботов понадобится мягкая, похожая на кожу оболочка, чтобы сгибаться. И, заодно, вены и капилляры, качающие какую-то богатую кислородом жидкость, аналогичную крови. Ведь именно так работают биологические руки. Наверное, не зря!
У наших рук мягкая кожа и кровь не случайно. Но в основном из-за того, какие структуры эволюции легко создать. Они не распространяются на механические руки, которые можно сделать из твёрдого металла и питать электричеством.
В руках роботов нет крови, но нет и проблем человеческой руки, из которой всю кровь убрали. Просто они работают по-другому. Если понять, как, — вдаваться в детали биологических рук уже не актуально.
Аналогично: ИИ работает принципиально не так, как человек. Он сталкивается с другими сложностями, а где есть пересечение — есть и много других способов их преодолеть. Подводная лодка не «плавает как рыба», но прекрасно движется в воде.
Человеческая культура повлияла на развитие наших ценностей
О, как там Клурл и Трапауций? В начале Главы 4 они пытались предсказать будущее развитие бродивших по саванне обезьян. Так вот: люди создадут общество! И будут спорить друг с другом о морали и ценностях.
Если проследить, как у человека в обществе появились его ценности, ответ неизбежно будет упоминать полученные от этого общества мысли и опыт.
Они же, помимо прочего, зависят от того, какие идеи самые заразные. Как люди их распространяют.
Бедные Клурл и Трапауций хотят угадать, какие ценности люди будут получать от современных культур? Тогда им надо предсказать не только существование и логику этой сложности, но и конкретный путь, по которому всё это пройдёт.
Возьмём историю того, как на Земле в основном покончили с рабством. Кажется антиисторичным отрицать роль христианского универсализма. Это вера, что христианский Бог создал всех людей, и это даровало им равный статус в глазах Небес.
Универсализм, в свою очередь, может быть связан с тем, как христианство выжило и распространилось. Христиане считали своим долгом слать миссионеров к другим культурам и обращать их в свою веру. Убеждением (если получалось) или силой (если нет), из заботы о тех далёких детях Божьих, чтобы спасти их от Ада и привести в Рай.
Приятно думать, что люди могли бы изобрести универсализм и побороть рабство без особых религиозных убеждений. Хочется верить, что человечество дошло бы до идеи равной моральной ценности всех разумных существ или их равенства перед законом, каким бы путём культура ни направилась. Даже без этапа веры в равенство душ перед Богом. Но не похоже, что история работает так. Наш моральный прогресс кажется довольно хрупким.
Шимпанзе не особо-то универсалисты. Многие ранние человеческие общества — тоже. Мы ещё даже не протестировали, останется ли человеческое общество таким на протяжении веков без универсалистской религии, в которую люди по-настоящему и глубоко верят. Ну правда, современность молода, сбор данных только начался.†
Но эти завихрения, эти многочисленные культурные случайности, наслоившиеся на биологические случайности, дополнительно подтачивают надежду, что мы можем позволить себе беспечно торопиться с созданием суперинтеллекта.
Культура играет важную роль в формировании человеческих ценностей, но это не значит, что мы можем просто «вырастить ИИ как ребёнка» и ожидать, что он станет достойным гражданином. Влияние культуры и истории обусловлено тем, как именно они взаимодействовали с конкретным устройством нашего мозга. Другой вид иначе реагировал бы на каждое историческое событие. И это отводило бы его дальнейшую историю от человеческой, усиливая эффект.
Не забывайте, что и ценности сильно различаются не только у культур и цивилизаций, но и у отдельных людей. Мы воспринимаем это как должное. Но представьте естественный отбор как «инженера», который надеялся создать вид, надёжно стремящийся к определённому результату. Тогда это разнообразие — плохой знак. Естественная изменчивость людей (и многих других эволюционировавших систем) ужасна для инженерного подхода, где нужно достигать повторяемых, предсказуемых и запланированных результатов.‡
В случае суперинтеллекта инженерам нужны стабильные результаты вроде «ИИ, разработанные таким-то образом, не приводят к вымиранию человечества» и «ИИ, разработанные таким-то образом, производят вывод с таким-то свойством при каких угодно вводах». Случайность человеческой биологии и истории и широкий спектр моральных ценностей и взглядов современных людей намекают — задача непростая. Особенно для разумов, которые выращивают, а не собирают (как обсуждалось в главе 2).§
Много путей приводят к одному выводу: очень сложно надёжно заставить ИИ хотеть правильных вещей. Это не кажется невозможным в теории. Будь у исследователей на это десятилетия и неограниченное число попыток после неудач, мы бы ожидали разработки хитрых трюков и подходов, упрощающих задачу. Но до них ещё очень далеко, и неограниченного числа попыток у нас нет.
* Есть много способов для разума научиться моделировать другие разумы. Так же есть и много способов моделировать самого себя. Было бы глубокой ошибкой воображения предполагать, что для появления рефлексии все возможные разумы должны пройти в точности тот же путь, что и люди. Это как воображать, что у всех возможных разумов непременно должно быть чувство юмора. Ну, раз оно есть у людей.
† В частности поэтому мы бы опасались встречи с инопланетянами, если через миллиард лет наши пути пересекутся где-то в космосе. Может, какой-то странный поворот истории и психологии человечества был критически важен для появления универсалистской доброты. И инопланетяне его не прошли.
Кажется, что универсалистская доброта хотя бы немного противоречит очевидно-прямолинейному давлению естественного отбора. Может, люди пришли к ней, получив определённые гены благодаря отбору в среде охотников-собирателей. И он напрямую влиял на внутренние мотивы, а не только на поведенческие результаты. Или люди вели между собой моральные споры, и разные идеи по-разному распространялись в их обществе.
Это, конечно, не единственный возможный путь к универсалистскому ощущению, что каждое живое существо заслуживает счастья. Но если бы оказалось, что среди звёзд оно реже, чем мы надеемся... скажем, лишь один процент встреченных нами инопланетян заботится о не-инопланетянах вроде нас, мы лишь опечалимся, но шокированы не будем.
(Но мы всё равно думаем, что найти это в инопланетном обществе куда вероятнее, чем что это спонтанно появится внутри ИИ, чей рост и существование были полностью направлены на решение синтетических задач и предсказание человеческого текста. На пути формирования целей у такого ИИ были бы свои собственные повороты и изгибы.)
‡ Некоторые из этих межчеловеческих различий могут быть на самом деле временными следствиями фактических разногласий. Для большинства людей с достаточно схожими подходами к морали могут найтись такие факты о реальности или аргументы, которые они ещё не рассматривали. Факты, которые побудили бы их согласиться там, где они расходятся сейчас.
Например: люди спорят о последствиях принятия какого-либо закона, чтобы выступить за или против него. Они говорят, что принятие приведёт к бесконечному унынию или вечному процветанию. Они пытаются апеллировать к некой (обычно, надеюсь, общепринятой) разделяемой системе представлений о том, какие последствия плохи, а какие хороши.
Когда стало достаточно очевидно, что этилированный бензин вызывает повреждение мозга, законодатели смогли отбросить разногласия о том, какой стиль им ближе — мудрый государственный контроль над капитализмом или смелая технологическая дерзость и прогресс. Никому из них не нравилось вызывать у детей повреждение мозга. Через лучшее знание фактов они пришли к политическому согласию.
Но мы бы предположили, что знание может разрешить лишь некоторые общественные разногласия внутри некоторых культур. Приятно, что этические и эмоциональные мета-системы людей как-то пересекаются. Но, кажется, ожидать абсолютного совпадения было бы немного чересчур. Даже в пределе совершенного знания.
Это не значит, что никак нельзя осмысленно говорить о благе всего человечества. При выборе — погибнет вся жизнь на Земле или нет, мы думаем, подавляющее большинство современных людей предпочло бы второе.
Мы упоминаем это потому, что фракция «вперёд, к суперинтеллекту» известна своими легкомысленными заявлениями вроде «Согласованный с кем? Понятие согласованности явно бессмысленно! У людей же разные цели!», что кажется лицемерным. Когда мы говорим «согласование — это сложно», мы имеем в виду «сделать, чтобы суперинтеллект попросту не убил буквально всех — сложно». Не обязательно разрешать все сложные вопросы философии морали, чтобы предпринять очевидные шаги и не дать всем погибнуть.
§ Иногда люди слушают лекции по эволюционной биологии о том, почему произошёл отбор всяких человеческих черт, и делают вывод, что раз люди в итоге (в итоге всех этих эволюционных и культурных перипетий) оказались достаточно милыми, есть некая общая, глобальная, неизбежная тенденция к славному набору универсальных ценностей. Это звучит одновременно достаточно приятно, чтобы утешать, и достаточно технически, чтобы казаться правдой.
Мы уже попытались предвидеть и опровергнуть несколько таких аргументов. Но предположим, кто-то наткнётся на ещё одну эмоционально привлекательную идею, что прекрасные причины делают прекрасные исходы неизбежными. На идею, которую мы не предвидели. (Мы не можем охватить всё. Люди постоянно придумывают новые аргументы для оправдания этого вывода.)
Тому, кто наткнётся на такую идею, мы рекомендуем отнестись к ней как к обыденному вопросу, вроде «нужно ли менять масло в машине?» или «как работает иммунная система человека?».
Думайте об этих вопросах так же, как об остальных научных и практических темах.
Вы чувствуете, что подобная теория вас убеждает? И вы принимаете важные решения, связанные с политикой в области ИИ? Наша главная рекомендация — найдите эволюционного биолога средних лет с репутацией скромного компетентного специалиста. Не того, кто постоянно мелькает в газетах, делая поразительные заявления и принимая сторону в больших спорах. Того, кого другие учёные между собой называют строгим мыслителем. Кто преподавал в университете и слывёт хорошим лектором. Поговорите с ним.
Скажите этому биологу: «Есть теория. Она гласит, что эволюция неумолимо подключается к глобальным космическим тенденциям, чтобы делать людей добрее. И что эта же тенденция повлияет на любой зарождающийся интеллект, как только он станет достаточно сложным. И, по сложным причинам, если я неправ, может произойти конец света».
Затем объясните биологу вашу теорию, как эволюция гоминид неизбежно стремилась к созданию добрых и благородных агентов. По настолько общим причинам, что, как вы считаете, они относятся и к произвольным разумным инопланетянам. И даже к более странным существам, созданным градиентным спуском.
И выслушайте, что скажет биолог.