Wenn aktuelle KIs meist nur in extremen Fällen seltsam sind, wo liegt dann das Problem?
Das Seltsame ist ein Beweis dafür, dass ihre tatsächlichen Bestrebungen nicht unseren beabsichtigten Bestrebungen entsprechen.
Dies wird umso wichtiger, je mehr Optionen die KI hat. Sobald eine KI superintelligent wird, wird praktisch jede Entscheidung extrem, da die KI Zugang zu einer Welt voller verschiedener Optionen erhält, die kein Mensch und keine KI jemals zuvor hatte. So wie fast alle Ihre Ernährungsmöglichkeiten hier in einer technologischen Zivilisation im Vergleich zu den Möglichkeiten, die Ihren Vorfahren zur Verfügung standen, "extrem" sind.
Heutige KI-Systeme mögen nur gelegentlich auf Situationen stoßen, die sich radikal von ihrer Trainingsumgebung unterscheiden, aber eine superintelligente KI würde sich ständig in Situationen befinden, die sich radikal von ihrer Trainingsumgebung unterscheiden, allein aufgrund ihrer höheren Intelligenz und der größeren Auswahl an Optionen (und der technologischen Fähigkeit, radikal neue Optionen zu erfinden, wie es die Menschen bei der Erfindung der Eiscreme getan haben). Es ist also keineswegs beruhigend, dass sich die KI nur in Extremfällen falsch verhält.
Technisch ausgedrückt: Die beste Lösung für ein bestimmtes Problem findet sich in der Regel an den Extremen.*
Wir werden diese Punkte in den Kapiteln 5 und 6 näher diskutieren.
* Wie Stuart Russell, Mitautor von “Artificial Intelligence: A Modern Approach“, es ausdrückt: “Ein System, das eine Funktion mit n Variablen optimiert, wobei das Ziel von einer Teilmenge der Größe k<n abhängt, setzt die verbleibenden uneingeschränkten Variablen oft auf Extremwerte; wenn eine dieser uneingeschränkten Variablen tatsächlich etwas ist, das uns wichtig ist, kann die gefundene Lösung höchst unerwünscht sein.“ Der Fundamentalsatz der linearen Programmierung besagt, dass dies bei der Optimierung einer linearen Funktion über einen konvexen polygonalen Bereich sicher ist. Ein ähnliches Ergebnis gilt in der Praxis auch in allgemeineren Kontexten, da viele Optimierungsprobleme Ähnlichkeiten mit der Optimierung einer linearen Funktion über einen konvexen polygonalen Bereich aufweisen.