А разве можно вообще предсказать поведение суперинтеллекта?
Не во всём, но в чём-то да.
Stockfish 17 лучше нас управляет ситуацией на шахматной доске. Если бы мы играли с ним в шахматы, то не смогли бы предсказать его ходы — для этого надо играть как минимум не хуже него. Но угадать победителя легко*. Сложно сказать, как Stockfish будет ходить, но просто — что он выиграет.
То же самое с ИИ, предсказывающими события и направляющими реальный мир. Чем они умнее, тем сложнее в точности предсказать их действия, но тем легче предсказать, что они достигнут цели, к которой стремились.
* Это интересное эпистемическое состояние. Когда вы верите, что Stockfish умнее вас в шахматах, ваши ожидания исхода партии не полностью определяются вашими лучшими прогнозами отдельных ходов Stockfish.
Философ науки мог бы спросить, как такое возможно, ведь правила шахмат полностью известны, а исход точно определяется ходами. Ответ в том, что структура, включающая все возможные ходы для всех партий — огромна. С одной стороны, она полностью задаётся правилами. Но с другой, вы (и даже Stockfish!) не знаете её полностью, потому что ваш разум не может представить все следствия, вытекающие из правил шахмат.
Можно рассматривать более «умного» шахматиста как того, кто больше вас знает об этом пространстве шахматных возможностей. Допутстим, вы видите удививший вас ход более «умного» игрока. Это говорит о существовании нового для вас факта о неизвестных вам следствиях известных правил. Что, в свою очередь, влияет на ваши ожидания относительно исхода партии.
(Можно было бы ожидать, что предыдущие абзацы — стандартная в информатике идея. К нашему удивлению, это не так. Большая часть информатики, да и вообще большая часть академической науки до сих пор не особо интересовалась мыслями, связанными со сверхчеловеческим интеллектом.)