ИИ могли бы договариваться друг с другом без участия людей.

Мы не уверены, что появится много сравнимых по способностям ИИ умнее человека. Если да, то может возникнуть «цивилизация ИИ», которой будут нужны «права собственности для ИИ». Нам один-единственный ИИ кажется более вероятным. Какой-нибудь прорыв даст ему опередить потенциальных конкурентов и так получить контроль над всем миром.^* Или, если ИИ будет несколько, они могут совместно создать единого преемника, представляющего их общие цели. Или же ИИ найдут способ напрямую сливать свои разумы и захотят это сделать, чтобы избежать затратной конкуренции.

Мы не утверждаем, что появление одного доминирующего ИИ неизбежно. Но тут трудно сказать наверняка. Так что план, рассчитывающий, что несколько ИИ будут с трудом договариваться между собой, — как минимум, не лучшее начало.

Но, вопреки сказанному выше, допустим, что в будущем появится нечто вроде цивилизации ИИ. И разные ИИ будут договариваться, стремиться обеспечить соблюдение чего-то вроде прав собственности и верховенства закона. Будут ли тогда люди в безопасности?

Мгновенный довод против: человеческое общество не признаёт за животными прав. Ну, кроме установленных в соответствии с нашими ценностями и вкусами. Например, очень ограниченных законов, защищающих экосистемы и домашних питомцев. Люди не уважали права собственности птиц додо. Мы даже права собственности людей других культур начали уважать сравнительно недавно.

У людей не будет способностей, делающих торговлю и договоры с нами выгодными для быстро мыслящих суперинтеллектов, по сравнению с которыми мы будто статуи (как обсуждалось в Главе 1).

Представьте себе, как два ИИ торгуются между собой. «Это моё, а это — твоё. Никто из нас не будет трогать вещи другого, не договорившись сперва о какой-нибудь взаимовыгодной сделке». Если люди не представляют большой угрозы и не могут дать серьёзный отпор, зачем постановлять, что большинство ресурсов на Земле им «принадлежит»?

Может ли один ИИ беспокоиться, что если он украдёт наше, то другой ИИ сочтёт его вором и откажется сотрудничать? Скорее всего — нет. Он так не подумает, как и вы бы не сочли, что сосед украл яйца у курицы в собственном сарае. ИИ вполне могут нарушать права собственности людей, но не других ИИ. Тут нет никакого внутреннего напряжения или противоречия. И все ИИ, вероятно, предпочтут такой исход совместному помешательству, что медлительные, глупые приматы якобы контролируют почти всё на Земле.

Некоторые технические соображения убедительно подтверждают этот интуитивный довод. В частности, у ИИ, скорее всего, будут механизмы координации, которых нет у людей. Например, способность взаимно проверять разум друг друга и убедиться в честности и надёжности. Тогда ИИ не придётся гадать, собирается ли другой ИИ что-то украсть, — можно будет заглянуть в его разум и проверить.

Даже будь это сложно, ИИ могут перепроектировать себя так, чтобы стать явно и прозрачно надёжными для других ИИ. Или совместно проконтролировать создание третьего ИИ, которому обе стороны доверяют представлять их общие интересы.^† И так далее.

Люди же не могут участвовать в подобных сделках. Даже если сказать ИИ: «Конечно, давайте вместе проконтролируем создание нового ИИ, которому мы оба доверяем», — люди вряд ли будут способны предложить свой проект надёжного разума. И не будут способны отличить обманчивые предложения от действительно надёжных. Если и существует какой-то естественный класс разумов, достаточно умелых, чтобы выявлять и отвергать мошенников, крайне маловероятно, что человечество к нему относится.

Люди не смогут обеспечить соблюдение права собственности.

Представьте, что кто-то основал город, где с самого первого дня все важные решения должны принимать мыши. Заметим, самые настоящие мыши, а не сказочные персонажи, которые выглядят как мыши, но думают как люди. По закону, люди в этом городе должны подчиняться любым решениям мышей. Они определяются, например, тем, что мыши пробегают по доске с написанными на ней вариантами. Законы города гласят — бо́льшая часть собственности принадлежит мышам и должна использоваться для их блага.

Что бы произошло дальше? На самом деле? Вероятно, в итоге получилось бы, что почти вся реальная власть не у мышей, а у людей. Не нужно предсказывать точный день революции или новую форму правления. И так ясно, что ситуация, где мыши командуют людьми, нестабильна. Достаточно заметить, что город находится в странном, неустойчивом положении. Можно предсказать, что со временем законы изменятся, и бо́льшая часть собственности больше не будет принадлежать мышам.

Конечно, такой прогноз не абсолютно точен. Про людей вообще мало что можно утверждать наверняка. Но это как раз тот случай, когда можно неплохо предсказать итог, даже если предугадать конкретные события невозможно.