Если они поймут угрозу, нет.

Речь о технологии, способной убить всех на планете. Осознав проблему, поняв, что никто в мире и близко не научился заставлять ИИ слушаться людей после превращения в суперинтеллект, любая страна будет замотивирована не торопиться. Политики сами отчаянно захотели бы подписать договор и обеспечивать его исполнение. Просто из страха за собственные жизни.

Северная Корея нарушила международное право, создав ядерное оружие. Но не применила его против своих врагов. Они понимают: в ядерной войне победителей не будет. Лидеры стран могут играть с огнём или даже воевать. Но они не стремятся к самоуничтожению.

Когда люди представляют, что какая-то страна нарушит договор, они, кажется, думают о лидерах, которые просто не понимают угрозу. Которым кажется, что расклад: «95% вероятности, что СИИ принесёт создателю богатство и власть, и 5% — что всех убьёт». Тогда, конечно, кто-то мог бы рискнуть. Возможно, какое-то государство действительно так и оценивает шансы.

Но теория и свидетельства говорят о другом раскладе. Всё указывает на то, что эта технология — глобальное самоубийство. Никто и близко не готов извлекать из машинного суперинтеллекта пользу. Если мир это осознает, у стран-изгоев будет куда меньше причин нарушать договор. Они тоже не хотят умирать.

А даже если лидер какой-то гипотетической страны-изгоя действительно не поймёт угрозу СИИ, он окажется в окружении международного альянса, который понимает. Ведущие мировые державы смогут вмешаться. Этого достаточно, чтобы мотивации не было.

Представьте, если бы лидеры (например) США, Китая, России, Германии, Японии и Великобритании искренне поверили, что их собственное выживание зависит от того, чтобы никто не создал суперинтеллект. И чётко заявили бы, что любые попытки его создать расценивают как угрозу своей жизни. И что они готовы защищаться. Тогда даже несогласный мировой лидер вряд ли захотел бы испытывать судьбу в борьбе с такой коалицией.

Разработка ИИ — не гонка к военному превосходству. Это гонка к гибели. Если мировые лидеры это поймут, если осознают, что это убьёт их самих и их детей, они, скорее всего, будут честно блюсти договор и следить за его исполнением.

Понять мысль, что создание машин умнее всего человечества может погубить мир, не так уж сложно. Легко увидеть, что мы слишком мало знаем о разумах, которые выращиваем. Вопрос лишь в том, поверят ли мировые лидеры. Если да, остановить эту самоубийственную гонку вполне реально.

Договор потребует реального отслеживания и контроля за исполнением.

Даже если большинство стран поймёт, что «если кто-то его сделает, все умрут», какие-то могут не согласиться. И оказаться достаточно безрассудными, чтобы всё равно продолжить создание суперинтеллекта.

Нужен мониторинг. Нужно силовое обеспечение. Договоры о ядерном, биологическом и химическом оружии так и работают. Мы можем и должны сделать, чтобы попытки обойти запрет стали сложными и дорогими.

Запрет на передовой ИИ придётся соблюдать неукоснительно. Если вопреки международному давлению какое-то государство решит продолжать разработки, странам, подписавшим договор, возможно, надо будет использовать военную силу.

Хотелось бы этого избежать! Нужно сделать всё возможное, чтобы было ясно: в таком случае будет применена сила. Это поможет избежать ошибок, из-за которых действительно придётся её применить. Но если есть причины, оправдывающие точечный военный удар — или даже войну, если нарушитель пойдёт на эскалацию — то спасение человечества к ним точно относится.

Это уже работало

С момента создания атомной бомбы прошло больше восьмидесяти лет. Человечество неплохо справилось с контролем над её распространением. Вопреки прогнозам многих экспертов после Второй Мировой, масштабной ядерной войны так и не случилось.

В июне 2025 года правительство США даже нанесло ограниченный удар по Ирану, чтобы помешать ему создать ядерное оружие. Подобные договоры и силовые методы для мирового порядка не новость. Если выиграть восемьдесят лет до появления СИИ, этого вполне может хватить.