KIs können auf intelligente Weise andere Dinge verfolgen als Menschen.

Es ist nicht so, dass die KI dumm ist. Es ist so, dass sie die Welt intelligent an einen anderen Ort lenkt, als Sie es tun würden.

Jemand kann sehr gut Auto fahren und dennoch nicht zu einem der Ziele fahren wollen, die Ihnen wichtig sind.

Um etwas tiefer in ein Beispiel einzusteigen, das wir in den Ressourcen für Kapitel 4 kurz angesprochen haben: Stellen Sie sich eine KI vor, die versucht, so viele kleine Titanwürfel wie möglich herzustellen. Der Einfachheit halber können wir uns vorstellen, dass die Herstellung von Titanwürfeln ihr einziges Ziel ist.^* Wir nennen diese KI den "Würfelmaximierer".

Wir kennen viele Menschen, die den Eindruck nicht loswerden können, dass wir den Würfelmaximierer der Dummheit bezichtigen, weil er nicht versteht, dass man sich, wenn man wirklich weiß, wie es ist, glücklich zu sein, einfach dafür entscheiden muss. Dass es eine objektiv falsche Entscheidung ist, sich nicht zum Glück zu steuern, unabhängig davon, wohin man das Universum gerade steuert.

Wir glauben zu verstehen, woher diese Intuition kommt. Der Würfelmaximierer ergreift sicherlich Maßnahmen, die aus menschlicher Sicht zutiefst falsch wären! Ein Mensch, der sich mit solch einem sinnlosen Streben beschäftigt, könnte wahrscheinlich durch weitere Überlegungen und philosophische Argumente davon überzeugt werden, dass er etwas tun sollte, das sich sinnvoller anfühlt, das ihn mit mehr Glück erfüllt und mehr Freude auslöst.

Nur ist der Würfelmaximierer kein Mensch. Er sucht nicht nach dem Gefühl von "Sinn" und kümmert sich nicht um Glück und Freude. Das tut er wirklich nicht, überhaupt nicht.

Manche Menschen finden diese Vorstellung kontraintuitiv. Wenn Sie alles darüber lernen würden, wie verschiedene mentale Architekturen funktionieren können, und die Ursprünge Ihrer eigenen Intuition aufdecken würden, die Schritte, die Ihr eigenes Gehirn unternimmt, wenn es zu dem Schluss kommt, dass der Würfelmaximierer einen schrecklichen Fehler macht...

Wir glauben, dass Sie, wenn Sie das Gesamtbild sehen könnten, erkennen würden, dass selbst das tiefste, geheimnisvollste, unbeschreibliche und schwer zu beschreibende Gefühl, dass Glück an sich wertvoll ist, ohne dass es einer weiteren Rechtfertigung bedarf, letztendlich immer noch eine Tatsache darüber ist, wie Menschen die Welt sehen, und keine Tatsache über willkürliche Gedanken.

Der Würfelmaximierer lenkt die Realität nur so, dass sie mehr Würfel enthält und nicht mehr Güte, nicht mehr Glück für sich selbst, nicht die "Erfüllung" eines variablen und manipulierbaren Ziels, das er ändern könnte, um es leichter zu erreichen. Nur Würfel und nichts als Würfel.

Es handelt sich um eine kognitive Maschine, die herausfindet, welche Handlungen zu den meisten Würfeln führen, und diese Vorgehensweise ausführt. Sie kann sich selbst vollständig verstehen, sich frei modifizieren und dennoch eine Art von Ding sein, das sich nur so modifiziert, dass es zu den meisten Würfeln führt.

Es ist einfach so, dass ein Gefühl des Glücks kein Würfel ist. Es ist einfach so, dass ein Gefühl der Erfüllung kein Würfel ist. Das sind also keine Richtungen, in die es steuern würde. Es ist einfach so, dass eine Modifizierung seiner selbst, um nach Glück zu streben, nicht zu mehr Würfeln führen würde, und deshalb würde es nicht dorthin steuern und sich selbst modifizieren.

Der Würfelmaximierer hat keine Schwächen in seinem vorausschauenden Verständnis der Welt. Er stellt keine metamoralischen oder metaethischen Fragen, deren richtige Antwort "Ich sollte nach Glück streben" lautet, und berechnet stattdessen die falsche Antwort "Ich sollte nach kleinen Würfeln streben". Er arbeitet nicht innerhalb des menschlichen Rahmens, auch nicht innerhalb einer idealisierten Version des menschlichen Rahmens; er berechnet nicht fälschlicherweise "Sollens", sondern berechnet korrekt "Erwartungsgemäß-zu-Titanwürfeln-Führen-Sein".

Damit wollen wir nicht sagen, dass er in einer schrecklichen, komplizierten Falle gefangen ist. Er ist ein reflektierender, in sich konsistenter Motor allgemeiner Intelligenz und (in gewisser Weise) weniger in sich selbst verstrickt als wir. Er ist nicht blind für die Anziehungskraft des Glücks. Er verschließt nicht die Augen vor der Wahrheit über die Welt oder sich selbst. Sie findet nur keine dieser Wahrheiten überzeugend genug, um denselben Handlungsweg einzuschlagen, zu dem (einige) Menschen gezwungen sind.

Siehe auch die ausführliche Diskussion über die Orthogonalitätsthese.