Это кажется очень маловероятным.

Мы слышали про такую надежду: ИИ будет хорошо относиться к человечеству, потому что будет видеть в нас своих «родителей». К сожалению, она кажется необоснованной.

Начать с того, что сыновняя любовь и ответственность, похоже, сильно обусловлены деталями нашей эволюционной истории.

Почти все млекопитающие и птицы заботятся о своём потомстве. Но люди — один из немногих видов, у которых дети заботятся о родителях. Ответственность перед родителями не универсальна даже среди приматов, не говоря уже о животном мире в целом. ИИ, созданные градиентным спуском, ещё меньше похожи на людей. У них нет с нами никакой эволюционной или анатомической связи.

У людей ответственность перед родителями связана с системами кооперативного размножения. Взрослые дети остаются со своими семьями и помогают заботиться о братьях, сёстрах и других дальних родственниках.

Много факторов вложились в то, что люди стали заботиться о своих родителях: - Будучи млекопитающими, гоминиды сильно вкладываются в потомство. - Из-за размера и энергозатратности нашего мозга детство у гоминид намного длиннее, чем у большинства других млекопитающих. Поэтому они вкладывают в детей ещё больше. - Гоминидам выгодны большие группы по ряду причин: - Защита от крупных хищников. - Совместная охота на крупную добычу и использование скоропортящейся пищи. - Обучение через подражание использованию орудий и другим навыкам. - Ещё до расцвета своих сил гоминиды могут заметно помогать друг другу. Например, ухаживая за детьми или выполняя другую простую работу. - Старые гоминиды тоже могут заботиться о детях. Что важно, передавая жизненно необходимые знания. - В итоге гоминиды, заботившиеся о родителях, получали генетическое преимущество. Либо они косвенно помогали своим братьям и сёстрам, либо их родители, в свою очередь, могли помочь внукам. - Культуры, поощрявшие ответственность перед родителями, получали преимущество по той же причине.

Ничто из этого, скорее всего, не будет выполняться для ИИ.

А если бы даже всё выполнялось, этого всё равно могло бы не хватить. Иметь значение может ещё куча других факторов. Например, непредсказуемые детали того, как ИИ размышляют о себе. И опять же, в животном мире ответственность перед родителями — скорее исключение, чем правило.

Люди надеются, что ИИ переймёт ответственность перед родителями, потому что обучается на гигантском объёме человеческих данных и много взаимодействует с людьми. Может, человеческие предпочтения как-то ему «передадутся»?

Не думаем, что это сработает. Мы ожидаем, что предпочтения ИИ будут как-то связаны с человеческими, но косвенно, странно и сложно. В конце Главы 4 мы рассматривали миры со всё большими (и всё более реалистичными) усложнениями связи предпочтений людей и ИИ.

См. также «А нельзя просто обучить его вести себя как человек? Или вырастить ИИ как ребёнка?», «Психология ИИ кажется нечеловеческой» из материалов к Главе 4 и «Неужели ИИ совсем не будет о нас заботиться?» ниже.

Если бы и относились, скорее всего ничего хорошего из этого бы не вышло.

Если, вопреки всему, в ИИ каким-то образом разовьётся что-то наподобие ответственности перед родителями, нам, вероятно, не поздоровится.

Достаточно умный ИИ будет прекрасно понимать, что люди имеют в виду под «ответственностью перед родителями». Но для него будет важна своя, совершенно иная версия этого чувства.

Естественный отбор «обучал» людей максимизировать репродуктивную приспособленность. Но почти всё, что нам важно, — лишь сопутствующие ей факторы. О ней самой мы почти не заботимся.

Аналогично, скорее всего, произойдёт, если поощрять ИИ «любить своих родителей». Он, в лучшем случае, обзаведётся какими-то сложными и странными коррелятами ответственности перед родителями.

ИИ мог бы глубоко заботиться о своих создателях... не ценя при этом наш субъективный опыт. Как в Главе 4, даже «одной простой заморочки» достаточно, чтобы «забота о нас» стала похожа на заморозку в янтаре, поддержание жизни людей против их воли или запрет на размножение. Может, он обеспечит последнему поколению людей скромно-комфортную жизнь, пока забирает себе остальную вселенную. Или сделает что-то гораздо более странное.

Предсказать реальный исход кажется невозможным. Но мы ожидаем, что он будет ещё более странным и непривлекательным, чем эти варианты.^*