Новые прорывы могут привести к тому, что создание суперинтеллекта будет невозможно остановить.

Мы уже упоминали, что всю революцию LLM запустила одна статья 2017 года. В ней описали алгоритм, позволивший обучать полезные ИИ на доступном коммерческом железе.

Если мощный ИИ можно будет создать на обычном потребительском железе, для сдерживанию суперинтеллекта понадобятся поистине драконовские меры. И работать они будут не так долго.

Так что поиск ещё более мощных и эффективных алгоритмов ИИ — смертельный яд для человечества.

Это очень плохие новости. Нам бы очень хотелось, чтобы это было по-другому. Но такова реальность.

Никакой закон не помешает нынешним учёным обдумывать эффективные алгоритмы у себя в голове. Возможно, кто-то создаст подпольную сеть для обмена результатами. Некоторые люди из индустрии ИИ с гордостью заявляют, что человечество должно погибнуть от ИИ. Они могут пытаться идти вперёд, несмотря ни на что. (См. раздел «Почему вас заботят только человеческие ценности?» материалов к Главе 5.)

Но, став незаконными, исследования ИИ сильно затормозятся. Особенно если все поймут, что они действительно грозят нам гибелью. Ещё сильнее, если такие подпольные сети будут выявлять и закрывать с той же решимостью, как людей, обогащающих уран в гараже. Потому что угрозу принимают всерьёз.

Большинство людей не склонны совершать особо тяжкие преступления, которые всерьёз разозлят международные спецслужбы. Запрет на публикацию новых хитрых алгоритмов ИИ остановит, пожалуй, 99,9% людей и почти все корпорации. Оставшимся 0,1% займутся полиция и разведка — местная, национальная и международная. Да и нынешнего финансирования у этих энтузиастов точно не будет.

Это сильно изменит мир. Сейчас проводить самые опасные в истории безумные эксперименты абсолютно законно. И гигантские корпорации вкладывают в эту гонку миллиарды долларов.

Не знаем, сколько ещё прорывов нужно, чтобы ИИ стали достаточно умными для самостоятельных исследований и создания ИИ ещё умнее. Может, один. Может, пять. Но лучшие алгоритмы так же смертельны, как и лучшее железо. Эти две лошади тянут телегу в одну и ту же пропасть.