ИИ-компании столкнулись с невероятно сложной задачей. На кону жизни всех людей. Относятся ли они к этому с должной серьезностью?

Давайте сравним ИИ-компании с людьми, которые действительно компетентно работают ср вверенными им рисками. С управлением воздушным движением.

Федеральное управление гражданской авиации США ежедневно обслуживает более трех миллионов пассажиров на 44 000 рейсов. За последние двадцать лет в среднем случалось около одной аварии с человеческими жертвами в год и примерно одна авария на двадцать миллионов летных часов.

Отчеты о расследовании таких катастроф (вот, например, за 2019 и за 2018 год занимают почти двести страниц. Там есть данные, тесты, экспертизы и детали расследования. Техпаспорта имеющих отношение к делу подсистем самолета, трудовая биография пилотов и бортпроводников, данные об авиакомпании и аэропорте, расшифровки переговоров из кабины, точная сводка погоды в день, час и минуту аварии.

Одно только краткое изложение технического анализа вероятных причин занимает двадцать страниц. Вот отрывок:

Лопатка вентилятора №13 левого двигателя оторвалась из-за усталостной трещины. Она возникла в хвостовике лопатки, за пределами покрытия. Экспертиза показала, что состав и структура материала соответствуют указанному титановому сплаву. Дефектов поверхности или материала в месте излома не обнаружено. Усталостные трещины начались там, где прогнозировалось наибольшее напряжение от нагрузок и, следовательно, самый высокий риск разрушения.

Сломанная лопатка отработала 32 636 циклов с начала эксплуатации. Аналогичная лопатка, сломавшаяся в аварии 2016 года (см. раздел 1.10.1), а также шесть других треснувших лопаток из того же двигателя отработали 38 152 цикла. Кроме того, с мая 2017 по август 2019 года нашли еще 15 треснувших лопаток на двигателях CFM56-7B. В среднем они имели наработку около 33 000 циклов на момент обнаружения трещин.

Так выглядит работа технических специалистов, которые всерьез стараются предотвратить катастрофу.^*

Сравните с поведением ИИ-компаний, описанным в Главе 11.

ИИ-компании заняты брейнштормом идей и выдачей инвесторам и журналистам успокаивающих банальностей. Они относятся к согласованию суперинтеллекта как к игре, а не серьезной инженерной дисциплине. Уж тем более не как к чему-то смертельно опасному.

Требование NASA к пилотируемым запускам: риск гибели экипажа не должен превышать 1 к 270. Они серьёзно к этому относятся. Хотя рискуют только добровольцы. У ИИ-лабораторий нет ничего хотя бы отдалённо похожего на такую планку. А ведь эти технологии угрожают даже тем, кто вообще не знает об их существовании.

Нам известен только один случай, когда ученые всерьез опасались, что изобретение буквально всех убьёт. Это было во время Манхэттенского проекта. Физики боялись, что ядерная бомба выдаст такую температуру, что начнется реакция синтеза азота. Воздух превратился бы в плазму, и всё живое на Земле погибло бы. К счастью, они хорошо понимали физические законы. Они смогли всё посчитать. Но еще до расчетов один из ученых, Артур Комптон, решил: он уйдет из проекта, если вероятность воспламенения атмосферы превысит 3 шанса на миллион. Он считал, что лучше дать нацистам создать бомбу первыми, чем рисковать тремя шансами конца света на миллион.

Вспомните слова Сэма Альтмана, главы OpenAI:

«Создание сверхчеловеческого машинного интеллекта — это, скорее всего, величайшая угроза дальнейшему существованию человечества».

А глава Anthropic Дарио Амодей заявил:

«Я часто говорил, — вероятность, что всё пойдет катастрофически не так в масштабах всей цивилизации, может составлять от десяти до двадцати пяти процентов».

Илон Маск, глава xAI, тоже высказывался:

«Думаю, к моменту ответной регуляции будет уже поздно. ИИ — фундаментальная угроза существованию человеческой цивилизации».

Не поймите нас неправильно. Мы считаем оценку Амодея в «10–25 процентов» смехотворно оптимистичной. Задача слишком сложна. А у людей нет права на ошибку. Но даже это — безумие.

Серьезные инженерные проекты, где безопасность критически важна, совсем не похожи на ИИ-лаборатории. Серьёзные организации вроде NASA, Манхэттенского проекта или управления авиации точно знают, что происходит внутри их систем. Там детально разбирают каждый сбой. Очень серьёзно относятся к любым сюрпризам и странностям. Они знают: катастрофы часто складываются из множества неудачно совпавших мелких неполадок.

Тем временем ИИ выдают всё больше тревожных сигналов. А лаборатории всё прут вперед и твердят, что, наверное, как-нибудь да обойдётся. (См. раздел «Но ведь разработчики на практике делают ИИ хорошими, безопасными и послушными?» материалов к Главе 4.)

Они не пытаются даже сымитировать ту серьёзность, с которой подходят к безопасности в авиации. Вместо этого разбрасываются бодрыми лозунгами вроде: «GPT-4 — наша самая согласованная модель!»

В каком-то смысле — даже хорошо. Сразу видно: этим компаниям нельзя доверять решение такой задачи, как согласование суперинтеллекта.

В нынешних технических условиях ИИ не конструируют, а выращивают. У человечества есть всего одна попытка. Никто не способен сделать это безопасно. Даже со внимательным и строгим инженерным подходом.

А планы и практики безопасности у разработчиков этой технологии не дотягивают даже до простой осторожности.