Non è impossibile prevedere il comportamento di una superintelligenza?
In un certo senso, ma non in tutti.
Stockfish 17 è più bravo di noi a gestire una partita a scacchi. Se giocassimo una partita contro Stockfish, non riusciremmo a prevedere le sue mosse: per farlo dovremmo essere bravi almeno quanto Stockfish 17. Ma sarebbe facile per noi prevedere chi vincerà la partita.* È difficile prevedere quali mosse farà Stockfish; è facile prevedere che vincerà.
Lo stesso vale per le IA capaci di prevedere e dirigere il mondo reale. Più sono intelligenti, più è difficile prevedere esattamente cosa faranno, ma più è facile prevedere che raggiungeranno la destinazione verso cui si stanno dirigendo.
* Questa risposta indica un interessante stato epistemologico. Quando credete che Stockfish sia più bravo di voi a scacchi, le vostre migliori previsioni sulle singole mosse di Stockfish non riescono a cogliere pienamente le vostre convinzioni sull'esito finale della partita.