Отсутствие консенсуса среди экспертов — признак незрелости технической области.

Многие ведущие учёные в сфере ИИ считают, что эта технология с большой вероятностью погубит человечество. Например, нобелевский лауреат Джеффри Хинтон, сыгравший огромную роль в становлении современного подхода к ИИ, оценивает вероятность, что ИИ всех нас убьёт, выше 50%. В 2023 году более 300 учёных подписали «Заявление о рисках ИИ», с которого мы начали эту книгу. И это далеко не всё.

Есть и учёные с противоположным мнением. Среди них такие знаменитости, как Ян Лекун и Эндрю Ын.

Как же понимать это отсутствие научного консенсуса?

Прежде всего мы советуем вам изучить доводы обеих сторон (включая доводы из нашей книги). Оцените их самостоятельно. Мы считаем, что качество аргументации говорит само за себя. Причины разногласий — дело десятое.

Заметим, впрочем, что Главы 11 и 12 развеивают загадочность этого положения дел. Конечно, разногласия экспертов сами по себе не доказывают нашу правоту. Но они согласуются с обрисованной нами картиной — что это зарождающаяся область сродни алхимии. Уж куда лучше, чем с противоположным мнением, будто ИИ — полноценная наука с твёрдым техническим фундаментом.

Безусловно, странно, что сфера, которая создаёт мощные технологии, настолько расколота. Насчёт других технических угроз согласия было больше. Примерно 100 из 100 учёных Манхэттенского проекта подтвердили бы, что глобальная термоядерная война несёт существенный риск всемирной катастрофы. Здесь же из трёх лауреатов премии Тьюринга за исследования, запустившие революцию в ИИ, двое (Хинтон и Бенджио) открыто говорят об опасностях суперинтеллекта, а третий (Лекун) — открыто от них отмахивается.

Такой уровень разногласий по поводу работы машины ненормален для экспертов из технической области. Это признак незрелости.

Обычно такая незрелость означает безопасность. Когда физики ещё спорили о базовых свойствах материи, они и близко не подошли к созданию ядерного оружия. Из их споров можно было сделать вывод: бомбу, способную стирать с лица земли города, они пока не сделают. Не получится создать ядерную бомбу, если учёные не понимают в деталях, как она устроена.

А вот если бы физики всё спорили о базовых принципах своей науки, устраивая всё более мощные взрывы...

Представьте, если бы они выращивали бомбы, толком не понимая, как и почему те работают. И вот две трети самых заслуженных учёных говорят: «Мы изо всех сил пытались понять, что происходит. Похоже, бомбы могут создавать мощнейшее излучение, вызывающее рак. Если мы продолжим в том же духе, оно может убить много мирных жителей. Даже если они далеко от эпицентра. Пожалуйста, прислушайтесь к нашим доводам об опасности и прекратите эту гонку». А оставшаяся треть отвечает: «Звучит нелепо! Всегда найдутся предсказатели апокалипсиса. Нельзя давать им мешать прогрессу». Согласитесь, совсем другая ситуация.

В таком случае разногласия среди учёных как-то не утешают. Пожалуй, тогда лучше не позволять инженерам выращивать всё более мощную взрывчатку.

ИИ-компании год за годом успешно выращивают всё более умные машины. И они не понимают внутреннего устройства своих творений. Многие выдающиеся учёные из этой области выражают серьёзные опасения. Другие отмахиваются от них без особых контраргументов. По меньшей мере, это свидетельство, что область незрела. Отсутствие консенсуса — уж точно не доказательство, что всё в порядке. Разногласия тут должны, как минимум, настораживать.

Как понять, оправданы ли страхи? Как разобраться, кто прав? Бить тревогу, или всё отрицать? Как обычно — нужно оценить аргументы.