Почему в вашей истории только один такой умный ИИ, как Sable? | Если кто-то его сделает, все умрут | If Anyone Builds It, Everyone Dies

Почему в вашей истории только один такой умный ИИ, как Sable?

Отчасти потому, что это реалистично.

AlphaGo (первый ИИ, победивший человека в го) на момент своего выхода был единственным в своём роде. ChatGPT на момент своего выхода была единственной в своём роде.

Специалисты иногда говорят, что всякие другие конкуренты не так уж сильно отставали. Конкуренты были очень похожи.

Но похожие вещи иногда приводят к кардинально разным последствиям. Цепная ядерная реакция, в которой один нейтрон высвобождает 0,98 нового нейтрона, в каком-то смысле очень похожа на ту, где высвобождается 1,02. Но первая затухает, а вторая взрывается. Мозг шимпанзе в каком-то смысле очень похож на человеческий. Но их влияние на мир совершенно разное.

В реальной разработке ИИ компания OpenAI действительно создала полезного чат-бота раньше всех. Многие работали над похожими системами. Многие в итоге догнали. Но одна ИИ-модель первая пересекла качественную границу, опередив остальных.

Есть некая качественная граница, которую человечество перешло, а шимпанзе — нет. Это позволило нам построить технологическую цивилизацию, пока они болтаются на деревьях. Наше лучшее предположение — что похожая граница есть где-то между современными ИИ и теми, чьё мышление действительно достаточно «взлетает», чтобы они могли сбежать и разработать собственные технологии.*

Для общего вывода не обязательно, чтобы у машин был качественный разрыв как у биологической жизни. Не исключено, что нет! Мы могли бы написать другую историю, без него. Но написали так, потому что думаем, что он есть.

Отчасти потому, что так проще писать.

Может и нет никакого качественного разрыва между сегодняшними LLM и суперинтеллектом. Может, куча конкурирующих компаний будут медленно и синхронно улучшать свои ИИ. Может, почему-то нет набора навыков и способностей, который позволил бы одному ИИ «улететь» вперёд, оторвавшись от остальных, как люди оторвались от других животных. Это не самое вероятное предположение. Но мало ли.

Такую историю было бы сложнее писать. И она была бы полна ненужных деталей о фракциях ИИ и их внутренней политике. Мы думаем, это бы сильно отвлекало. А для последующих этапов истории это не так уж и важно. Не особо важно, один ИИ или группа реализует какой-то план по расширению своих возможностей за счёт человечества.

См. также наше обсуждение, что скоординированные ИИ ничего не оставят людям (если только один из них уже не заботится о нас) в разделе «А ИИ не потребуются работающие законы?» материалов к Главе 5.

* Мы не говорим, что в эволюции приматов был резкий скачок. Отличие людей от шимпанзе сначала наращивалось медленно, а потом быстрее. Мы говорим, что это качественный разрыв, независимо от того, каким плавным был переход. См. также раздел «Сможет ли ИИ преодолеть критические пороги и „улететь"?» в материалах к Главе 1. 

Не нашли ответа на свой вопрос?Задайте вопрос.