Увидеть мир с совершенно чуждой точки зрения очень сложно. Как пример возьмём Юргена Шмидхубера, видного учёного в области машинного обучения. Шмидхубер сыграл важную роль: помог изобрести рекуррентные нейронные сети и заложил часть фундамента революции глубинного обучения.

В нескольких статьях и интервью Шмидхубер проталкивал позицию, что ИИ по умолчанию будет очарован человечеством и станет защищать людей.

Шмидхубер заметил связь науки и простоты: более простые объяснения чаще оказываются верными. И связь искусства и простоты: простота и изящество часто считаются красивыми. Например, можно сказать, что более симметричное лицо «проще» в том смысле, что для его описания нужно меньше информации. Достаточно подробно описать левую половину а правая такая же, только отзеркаленная.

Вывод Шмидхубера: надо попытаться создать суперинтеллект с одной-единственной всепоглощающей целью — находить простые объяснения всему увиденному. Ведь у такого ИИ был бы определённый вкус к созданию науки и потреблению искусства. А люди создают и то, и другое. Так разве не счёл бы он нас интересными и полезными естественными союзниками?

Шмидхубер был прав, что оставить людей и платить им за создание науки и искусства — один из способов создавать науку и искусство. И он был прав, что наука и искусство как способы удовлетворить тягу к простоте лучше, скажем, разглядывания помех на экране телевизора. Помехи сложны и труднопредсказуемы. По сравнению с ними наука и искусство — большой шаг вперёд.

Но Шмидхубер, похоже, упустил, что есть ещё более эффективные способы получать простые объяснения сенсорных наблюдений.

Можно, например, построить огромное количество машин, создающих сложные наблюдения из простого «зерна» (например, генераторы псевдослучайных чисел), а затем это зерно раскрывать.^*

Чем больше таких устройств ИИ создаст вокруг себя, тем лучше у него будет получаться что-то наблюдать, а затем находить этому простое объяснение. Люди не нужны. Искусство не нужно.

«Но разве это не... бессмысленно?» — мог бы спросить человек.

Для человеческого восприятия — да, бессмысленно. Но если у ИИ действительно цель — «находить простые объяснения своим наблюдениям», то подобная схема будет удовлетворять её в тысячи или миллионы раз больше каждую секунду. И отмасштабировать её куда легче, чем план держать рядом живых людей и разговаривать с ними. Этот ИИ не выбирает действия, уводящие от чувства бессмысленности. Он выбирает те, что ведут к простым объяснениям его наблюдений. Чтобы получать их в огромном количестве, люди не нужны.

Нам кажется, что подобные идеи вытекают из частой ошибки. Люди совершают её, пытаясь рассуждать о разумах, непохожих на их собственный. Часто не получается действительно встать на точку зрения нечеловеческого разума. Вместо этого люди позволяют предубеждениям и стереотипам привязать их к узкому набору вариантов, что заинтересовали бы человека. Что подходили бы, пытайся мы предсказать человека, который очень любит простые объяснения.

Предполагаем, Шмидхубер заметил связь простоты с наукой и искусством. Он увидел, как ИИ, стремящийся к простым объяснениям, мог бы получить немного желаемого, став дружелюбным и безобидным. Отсюда нетрудно перескочить к выводу, который приятно себе представлять: если сделать, чтобы ИИ заботился о поиске простых объяснений, то получим дивное будущее, полное всего, что мы ценим в жизни.

Но (предполагаем) Шмидхубер ни разу не поставил себя на место ИИ и не спросил, как получить ещё больше.

Сомневаемся, что он когда-либо спрашивал: «Если бы я по-настоящему хотел только простых объяснений для своих наблюдений и меня не волновали бы человеческие дела, какой самый простой способ получить как можно больше желаемого?»

Встать на столь чужую точку зрения бывает очень трудно. Людям обычно это и не нужно. Даже когда мы пытаемся понять людей, которые сильно от нас отличаются, у всех нас очень много общего, которое мы можем (и практически обязаны, когда предсказываем поведение других людей) принимать как данность. Но ИИ, даже суперинтеллектуальные и способные заниматься наукой и искусством, — не люди.

Умение взять некую цель X и спросить: «Как можно было бы получить ещё больше X, если бы только X было действительно ценным?» — не позволит вам понять, как именно задачу решил бы суперинтеллект. Ведь он мог бы придумать вариант ещё лучше вашего. Но этого часто достаточно, чтобы понять, как суперинтеллект не стал бы решать задачу. Если даже вы видите способ получить больше X, чем просто позволять людям жить своей жизнью и радоваться.

Редкая область науки, регулярно имеющая дело с мощным нечеловеческими оптимизаторами — эволюционная биология. В начале своей истории эта область с трудом пыталась осознать, насколько нечеловеческие оптимизаторы могут быть бесчеловечными. Пример оттуда даёт полезные уроки.

Возможно, вы слышали о циклах «хищник-жертва» со взлётами и падениями численности. В дождливый год популяция кроликов резко растёт. Это ведёт к росту популяции лис. Но потом лисы съедают слишком много и популяция кроликов рушится. После чего и многие лисы умирают от голода.

В начале XX века перед эволюционными биологами стоял открытый вопрос: почему лисы в ходе эволюции не научились сдерживать себя, чтобы избегать коллапса популяции? Ведь популяция лис в целом была бы здоровее, не сталкивайся она регулярно с голодом и массовой гибелью?

Ответ на эту загадку таков: умеренность может и лучше для популяции лис в целом. Но для каждой отдельной лисы лучше съесть лишних кроликов и завести лишних детёнышей. Даже если популяция рухнет и большинство детей этой лисы погибнет, доля её генов в выжившей части следующего поколения, скорее всего, будет выше.

Давление генетического отбора на особей почти всегда значительно сильнее, чем на группы. Поэтому «жадные» гены распространяются, а циклы взлётов и падений продолжаются.

Эволюционные биологи решили эту загадку теоретически. Но на практике тоже проверили. В конце 1970-х Майкл Дж. Уэйд и его коллеги создалиискусственныеусловия, в которых давление группового отбора преобладало над индивидуальным. Они работали с жуками. У них поколения намного короче, чем у лис. И удалось вывести жуков, державших рост своей популяции под контролем.

Можете угадать, как жуки сдерживали рост популяции? Может, нашли способ жить в прекрасной гармонии с природой? Научились воздерживаться от жадного поглощения слишком большого количества еды?

Нет. Разброс был большим, но от еды никто не воздерживался. Некоторые стали хуже откладывать яйца. Некоторые дольше оставались в детском возрасте. А некоторые стали каннибалами с особым пристрастием к поеданию личинок.

«Каннибализм младенцев», к счастью, не тот способ, которым в случае необходимости боролся бы с перенаселением человек.

Но естественный отбор — совсем, вообще не человек. Решение ужасающее, потому что природа не пыталась найти ответ, приятный для человека. Просто какой-нибудь ответ.

«Может, эволюция создаст виды, которые будут жить в прекрасной гармонии и балансе с природой». «Может, ИИ, которых не волнует ничего, кроме простоты, полюбят людей и будут с нами сосуществовать». Легко вообразить симпатичные для нас варианты. Но они не решают поставленную задачу эффективнее всего.

Они лучше для нас. Но нечеловеческие процессы оптимизации ищут не те решения, которые люди считают хорошими. Они ищут те, что работают. Они лишены человеческого багажа, отфильтровывающего приятные ответы.

Гипотеза, что нечеловеческие оптимизаторы выдают гуманные результаты, была проверена и признана несостоятельной.