¿No es imposible predecir el comportamiento de una superinteligencia?
En algunos aspectos, pero no en todos.
Stockfish 17 es mejor que nosotros manejando un tablero de ajedrez. Si jugáramos una partida de ajedrez contra Stockfish, no podríamos predecir sus movimientos, ya que para ello tendríamos que ser al menos tan buenos en ajedrez como él. Sin embargo, nos resultaría fácil predecir el ganador de la partida.* Si bien es difícil predecir qué movimientos hará Stockfish, es fácil predecir que ganará.
Lo mismo sucede con las IA que predicen y dirigen el mundo real. Cuanto más inteligentes son, más difícil es predecir exactamente lo que harán, pero más fácil es predecir que alcanzarán cualquier destino hacia el que se dirijan.
* Esta respuesta indica un estado epistemológico interesante. Cuando crees que Stockfish es más inteligente que tú en el ajedrez, tus creencias sobre el resultado final de la partida no quedan totalmente recogidas en tus mejores predicciones sobre los movimientos individuales de Stockfish.