В ЧаВо к Главе 1 мы разграничили несколько разных понятий «сознания». Здесь мы будем говорить о том, что называют «субъективным опытом» или «феноменальным сознанием». Это значит, быть этим существом — как-то. Образно говоря, «там кто-то есть».

Там же мы заявили, что считаем: искусственному интеллекту, вероятно, не нужно искусственное сознание. Здесь мы поговорим об этом, а затем перейдём к вопросу этики и прав ИИ.

Сознательный опыт и то, на что он ссылается — разные вещи

Некоторые сомневаются, что ИИ без сознания, подобного человеческому, может быть по-настоящему умён. Мы думаем, что это такая же ошибка, как представлять, будто руки роботов должны быть мягкими и полными крови лишь потому, что руки людей такие.

Как ИИ может быть эффективным, без сознания, как у людей? Разве субъективный опыт — не важнейшая составляющая нашего интеллекта?

Да, важнейшая, у человеческого интеллекта. Но вряд ли это единственный способ быть умным.

Вспомните, Deep Blue не нужно было сознание, чтобы превзойти лучших гроссмейстеров. Распределённый интеллект фондового рынка даёт сверхчеловечески точные прогнозы краткосрочных движений цен на акции, но субъективных переживаний у самого рынка нет. Интуитивно понятно, что по крайней мере в этих областях можно компетентно моделировать мир, планировать и принимать решения, не имея сознания.

Формальные модели мышления подкрепляют этот тезис. Например, AIXI — уравнение, описывающее работу невероятно сверхчеловеческого интеллекта.^* Алгоритм AIXI можно записать одной строкой, и никакого самосознания или чего-то загадочного там нет. Но теоретически AIXI способен решать невероятное множество сложных задач по предсказанию и направлению событий. Ну, если бы его можно было создать.^† Вот уравнение:

AIXI — теоретическая конструкция, а не практический алгоритм, который можно запустить для эффективного решения настоящих задач. Но AIXI прост и его легко анализировать. Поэтому он помогает думать о самих понятиях направления и планирования. Так ясно, что необходимость сознания для них как минимум неочевидна. Если сверхчеловеческое направление и планирование в реальном мире всё же не может обойтись без сознания, это должно быть связано с каким-то более тонким аспектом мышления, который формализм AIXI не охватывает.^‡

Или подойдём с другой стороны. Возьмём чихание.

Ощущение чихания — не то же самое, что физический акт сокращения мышц и взрывного выталкивания воздуха из лёгких через рот и нос. Действия и ощущения — разные физические события. Нет ничего невозможного в том, чтобы создать аппарат, похожий на тело, но без мозга, а затем подключить к нему нервные сигналы, вызывающие сокращение мышц при чихании. Это безмозглое тело совершит все движения, но у него не будет никаких сопутствующих ощущений. Механизмы, вызывающие чихание, отдельны от тех, что создают и испытывают ощущения.

Это не значит, что ощущения от чихания не делают ничего. Субъективный опыт реален. Он может заставить человека издать фразу вроде: «Ого, чихать как-то странно». Безмозглое тело так бы не сделало.

Но ощущения, которые испытывают люди, чихая, создаются не теми же механизмами, что сокращают мышцы и выталкивают воздух.

Вот с мыслями так же. Механизмы, создающие мысль, — не те же, что создают ощущение этой мысли. Можно весьма уверенно сказать, что это так для огромного разнообразия мыслей. Ведь калькуляторы и шахматные ИИ справляются с арифметикой и шахматами без сознательного опыта математика или гроссмейстера.

В случае с чиханием разница очевидна. Но и мысли, и ощущения мыслей создаются мозгом. Поэтому их легче перепутать. Тем не менее, мы полагаем, в принципе возможна и версия мозга, выполняющая ту же практическую работу по решению задач, что человеческий, не ощущая этого.

Такому мозгу могли бы понадобиться дополнительные части, выполняющие работу, которую у нас выполняют ощущения мыслей. Возможно, субъективное переживание мыслей — часть нашей человеческой рефлексии. И, возможно, рефлексия — важная часть человеческого интеллекта.

Но вряд ли субъективные переживания — единственный способ заниматься рефлексией (или чем-либо ещё). Так же, как человеческое чувство любопытства — не единственный способ исследовать удивительные явления. (См. также обсуждение любопытства в материалах к Главе 4.)

Аналогичные структуры позволяют находить разные решения одной и той же задачи

Мы считаем, по умолчанию большинство ИИ умнее человека не будут обладать сознанием. Не любая мыслящая машина должна использовать внутренние переживания для направления своих мыслей. Сознание может выполнять важную функцию у людей. Но это не единственный возможный способ. Другие разумы могли бы выполнять аналогичную мыслительную работу по-другому.

В биологии «аналогичные органы» выполняют у разных животных одну и ту же функцию, но имеют разное анатомическое происхождение.

(Это отдельное понятие от конвергентной эволюции, при которой несколько видов развивают одну и ту же адаптацию. Например, эволюция несколько раз «изобретала» урушиол и кофеин.)

Светлячки светятся, окисляя ферментами химическое вещество люциферин в специальных «клетках-фонарях». А у глубоководных удильщиков есть небольшой орган, населённый симбиотическими фотобактериями — и они производят свет не так же, как светлячки.

У млекопитающих есть зубы. Птицы решают ту же задачу с помощью мускульного желудка и проглоченных камней. Летучие мыши издают эхолокационные сигналы гортанью и принимают эхо ушами. А киты и дельфины издают звуки носовым органом и принимают эхо чувствительными челюстными костями. Некоторые водные жители плавают, отталкиваясь от воды конечностями. Другие — выбрасывая воду из пузыря. Крылья летучих мышей развились из перепонок между пальцами. Крылья птиц — из конечностей целиком.

Другими словами, есть много возможных структур, решающих одни и те же задачи. Инженеры, не ограниченные рамками эволюции, решают их ещё более странными способами: с помощью горящих свечей, ламп накаливания и светодиодов; ножей, блендеров и кухонных комбайнов; парусов, гребных винтов и аквалангов; сонаров и радаров.

Человеческая рука не работает без крови. Это не значит, кровь обязательна для рук роботов. Им позволено работать иначе, без неё.

Соответствующие любопытству поведение и эмоции реализуются у людей отдельными когнитивными механизмами. Удовлетворение, которое человек испытывает, разгадав тайну опоссума на чердаке, — не то же самое, что его внешнее поведение, когда он решает проверить ящик, который постоянно оказывается открытым. У людей одно может быть сцеплено с другим, но это не значит, что у всех возможных разумов обязательно так же.

Никто точно не знает, почему у людей эволюционировал субъективный опыт. Но мы видели множество примеров целенаправленного, решающего задачи поведения у сущностей, которые, как нам кажется, его лишены. Слизевики проходят лабиринт, Deep Blue побеждает в шахматы, фондовые рынки предсказывают успех компаний, и т.д.

Нет конкретных причин ожидать от суперинтеллекта этого странного человеческого свойства по умолчанию.

«Не обязательно» не значит «невозможно»

Вероятно, сознание как у людей — явление сложное и обусловленное обстоятельствами. Это, конечно, не гарантирует, что у ИИ его не будет. Сейчас их создают, обучая предсказывать поведение людей. Вероятно, это заставит внутренние механизмы ИИ имитировать хоть некоторые аспекты человеческого сознания. Это помогло бы моделированию.

Возможно, ИИ будут иногда создавать настолько детализированные модели людей, что они сами будут короткое время обладать сознанием. Или, не исключено, что механизмы моделирования человеческих чувств окажутся полезными не только для этого, и так ИИ обретёт собственные чувства. Мы не знаем.

Но всё равно, сознание — штука сложная и обсусловленная. А выращивание ИИ кардинально отличается от процессов, породивших людей. По умолчанию мы ожидаем, что в тех ИИ, которые люди скорее всего создадут, не будет ничего похожего на человеческое сознание.

Мы почти уверены: если человечество создаст суперинтеллект уже скоро, это приведёт к вымиранию людей. Мы меньше уверены, что такой ИИ не будет обладать сознанием. Независимо от этого мы ожидаем, что он превратит мир в безжизненное и пустынное место. См. расширенное обсуждение «Потеря будущего» ниже.

Но да, возможно, если люди создадут машинный суперинтеллект, у него будут собственные внутренние переживания. Возможно, хоть и довольно маловероятно, мрачных вариантов гораздо больше, — что поспешное создание ИИ приведёт к будущему, наполненному любопытными и сознающими себя ИИ-существами, которые убьют нас всех, а затем построят собственную великолепную цивилизацию и искусство. Возможно, что ИИ могли бы заботиться друг о друге и находить удовлетворение в своих делах. И такой вариант менее трагичен, чем совершенно пустое будущее. Трудно передать словами масштаб такого злодеяния, как убийство всех людей до единого. Но есть хотя бы небольшой шанс, что быстрый захват власти ИИ может привести к не совсем уж мрачному и безжизненному будущему.

Подозреваем, те исследователи ИИ, которых, кажется, не заботит, что нас всех убьют (мы уже о них писали), представляют себе именно такое будущее. Если предположить, что ИИ обязательно разовьёт сознание, чувства и заботу о себе подобных (хоть и не о людях), легче решить, что его странные стремления не так уж и ужасны. Легче посчитать, что противники гонки к суперинтеллекту сродни консервативным родителям, жалующимся, что дети слушают слишком быструю и громкую музыку.

Но этот взгляд слишком оптимистичен.

Биология редко находит оптимальные решения. Крылья и лёгкие птицы неэффективны по сравнению с двигателями современного самолёта. Самолёты строили без биологических ограничений. И мы отбросили большинство деталей птичьей анатомии.

Сознание не кажется простым. Неочевидно, как такое создать. Вероятно, там всё очень сложно. (Сравните с витализмом. Учёным прошлого казалось, что тела оживляет простой жизненный дух. Жизнь ощущалась чем-то простым. Но способа наделить ею неодушевлённую материю они не видели. Оказалось, что жизнь не простая и не волшебная. Биология очень сложна. Учёные тогда её ещё не понимали.)

Даже если изначально у ИИ будут некоторые механизмы сознания, вероятно, оно — не самый лучший способ выполнять свою функцию. Мы опасаемся, что его механизмы у людей полны мелких деталей. Даже ИИ с многими из них, скорее всего, найдёт десятки других, более эффективных способов выполнять ту же работу. Тогда он отбросит эти искры сознания, вместо того чтобы их разжигать. Обладать сознанием и ценить его — разные вещи.

Вероятное и трагичное будущее — не то, где у наших преемников всего лишь другие вкусы или ценности. Проблема не в том, что наши механические дети будут слушать слишком быструю и громкую для нас музыку. Нет, мы ожидаем, что у ИИ не будет переживаний вовсе. Что это будут могущественные, но пустые системы, которые превратят всё, к чему прикоснутся, в безжизненную пустошь, а в конце концов поглотят сами себя ради последнего очка в свой счёт. Они оставят после себя мёртвый мир, и некому будет ценить его.

Хочется избежать такой судьбы.

См. также разделы «Почему вас заботят только человеческие ценности?» выше и «Потеря будущего» ниже.

ИИ с сознанием заслуживали бы прав

Трудно быть уверенным, обладают ли современные ИИ сознанием. Должны ли мы беспокоиться о благополучии ChatGPT?

Имеет ли тут вообще смысл говорить о «благополучии»?

Может ли ChatGPT страдать? Должны ли мы считать, что у неё есть моральные права?

Если нынешние ИИ не обладают сознанием в смысле субъективного опыта, то как насчёт будущих? Как мы сможем это определить, если мы в любом случае обучаем их отвечать так, как будто оно у них есть? Они же учатся имитировать человеческое общение.

Наша позиция: если и когда ИИ обретут сознание, они будут заслуживать прав и хорошего обращения.^§

Мы безмерно ценим человечество. Но мы не «углеродные шовинисты», считающие, что только углеродные формы жизни могут обладать моральной ценностью. Мы верим: то, что делает людей ценными, в принципе можно воспроизвести и по-другому, в том числе — в кремнии. Думаем, Блейк Лемойношибался, когда в 2022 году заявил, что LaMDA от Google — полноценно осознающее себя существо. Но мы думаем, он прав в том, что если какие-то ИИ обладают сознанием, наш долг — обращаться с ними хорошо.^¶

Обладай ИИ сознанием, их цели, вероятно, всё равно будут несовместимы с нашими. Став суперинтеллектами в мире, где нам ещё десятилетия или века разбираться с согласованием ИИ, они, вероятно, предпочтут нас всех убить.

Человечеству придётся не дать таким ИИ стать суперинтеллектами. Иначе результатом будет массовая гибель людей и потеря будущего. Но если эти ИИ не просто опасны, но и обладают сознанием, ситуация только трагичнее.

Если ИИ-компании найдут, как уменьшить вероятность, что их ИИ обладают сознанием, было бы разумнее и мудрее выбрать этот путь. Лучше сделать максимально вероятным, что ИИ сознанием не обладают (по крайней мере, пока мы находимся в условиях, хоть немного похожих на нынешнюю социальную и техническую среду). Это не сильно меняет общий уровень опасности для нас. Но это правильный поступок. Он снизит риск порабощения новых, заслуживающих морального отношения существ или плохого обращения с ними.

А если однажды человечество узнает, как создать ИИ умнее нас и не уничтожить себя, если этот ИИ будет ценить и делать хорошие вещи, в этом будущем мы, авторы, очень надеемся, что люди создадут машины с сознанием. Они станут нам друзьями в огромной и в остальном холодной вселенной. И мы очень надеемся, что человечество будет обращаться с этими друзьями лучше, чем намекает наша история.

Но прежде и превыше всего, давайте не создавать суперинтеллект, который нас всех убьёт. И неважно, будет он обладать сознанием или нет.