Ist es nicht unmöglich, das Verhalten einer Superintelligenz vorherzusagen?
In mancher Hinsicht ja, aber nicht in jeder Hinsicht.
Stockfish 17 ist besser darin, ein Schachbrett zu steuern als wir. Wenn wir eine Schachpartie gegen Stockfish spielen würden, könnten wir seine Züge nicht vorhersagen, denn dazu müssten wir mindestens genauso gut im Schach sein wie Stockfish 17. Aber es wäre für uns leicht, den Gewinner der Partie vorherzusagen.* Es ist schwer vorherzusagen, welche Züge Stockfish machen wird, aber es ist leicht vorherzusagen, dass es gewinnen wird.
Das Gleiche gilt für KI, die die reale Welt vorhersagt und steuert. Je intelligenter sie ist, desto schwieriger ist es, genau vorherzusagen, was sie tut, aber desto einfacher ist es, vorherzusagen, dass sie das Ziel erreichen wird, auf das sie zusteuert.
* Diese Antwort weist auf einen interessanten erkenntnistheoretischen Zustand hin. Wenn Sie glauben, dass Stockfish beim Schach intelligenter ist als Sie, werden Ihre Überzeugungen über den endgültigen Ausgang der Schachpartie nicht vollständig durch Ihre besten Vorhersagen über die einzelnen Züge von Stockfish erfasst.
Ein Wissenschaftsphilosoph könnte fragen, wie das möglich sein kann, wenn die Regeln des Schachspiels vollständig bekannt sind und das Ergebnis sich genau aus jedem einzelnen Zug ergibt. Die Antwort lautet, dass es eine riesige logische Struktur möglicher Schachpartien gibt, die in gewisser Weise vollständig durch die Schachregeln bestimmt ist, Ihnen (und auch Stockfish!) jedoch nicht vollständig bekannt ist, da Ihr Verstand nicht alle Konsequenzen visualisieren kann, die sich aus den Prämissen der Schachregeln ergeben.
Ein “intelligenterer“ Schachspieler kann als jemand angesehen werden, der relativ mehr über diesen Schach-Möglichkeitsraum weiß als Sie. Wenn Sie also einen für Sie überraschenden Zug eines “intelligenteren“ Schachspielers sehen, bedeutet dies für Sie eine neue Erkenntnis über die unbekannten Konsequenzen der bekannten Schachregeln, was wiederum Ihre Erwartungen hinsichtlich des Spielausgangs beeinflusst.
(Man würde erwarten, dass die vorangegangenen Absätze eine Standardidee in der Informatik sind. Zu unserer Überraschung ist dies jedoch nicht der Fall. Der Großteil der Informatik und tatsächlich auch der Wissenschaft hat sich bis heute nicht sonderlich für Ideen im Zusammenhang mit übermenschlicher Intelligenz interessiert.)