Was folgt aus dem Verständnis von LLMs? Wie hilft es uns, KI zu verstehen, die intelligenter ist als der Mensch, und wie können wir verhindern, dass alle sterben?

Ein Vorteil besteht darin, dass das konkrete Wissen darüber, was dort vor sich geht, oder zumindest der Teil, den wir sehen können, die unergründlichen Zahlen, möglicherweise fundierter und solider erscheint, als wenn man nur weiß: "Eines Tages bin ich aufgewacht und die Computer haben aus irgendeinem Grund angefangen zu sprechen."

Ein Beispiel: Wenn man weiß, dass die aktuellen LLMs durch das Training von nur 1 Prozent der Parameter, die das menschliche Gehirn an Synapsen enthält, aufgebaut sind, ist es vielleicht leichter zu verstehen, warum KI nicht für immer auf dem aktuellen Leistungsniveau bleiben wird.

Bei der Ausarbeitung eines internationalen Vertrags zur Beendigung des Wettlaufs um Superintelligenz ist es hilfreich zu wissen, dass das "Training" einer KI eine von der Ausführung der KI getrennte Phase ihrer Existenz ist (Letzteres wird als "Inferenz" bezeichnet).

Es ist auch hilfreich zu wissen, dass die Trennung dieser Phasen eine zufällige und vorübergehende Tatsache der Funktionsweise der aktuellen KI ist und dass ein zukünftiger Algorithmus dies ändern könnte. Heute könnte man einen Vertrag verfassen, der die Behandlung von KI-Training und KI-Inferenz trennt, aber man müsste bereit sein, diese Theorie zu ändern, wenn sich die Algorithmen ändern würden.

Es ist wichtig zu wissen, dass es einen Algorithmus gibt, und es ist ebenso wichtig zu sehen, wie er in einigen einfachen Fällen die Eigenschaften der KI erzeugt, die reguliert werden müssen. Wenn Sie die Grundlagen des Algorithmus verstehen, sind Sie besser in der Lage, sich über die Art von Forschung zu informieren, die die KI-Industrie zu betreiben versucht, und darüber, wie sich dies auf die zugrunde liegenden Regeln auswirken könnte, wenn sie fortgesetzt werden darf.

Der Transformer-Algorithmus, ohne den es die heutigen KI-Systeme nicht gäbe, war ein großer Durchbruch, der von einer Handvoll Mitarbeitern bei Google entwickelt wurde. Der nächste Durchbruch dieser Art könnte die KI über eine kritische Schwelle bringen, oder auch nicht. Das lässt sich leichter verstehen, wenn man weiß, was ein "Transformer-Algorithmus" macht, wie einfach er ist und warum er einen so großen Einfluss auf diesen Bereich hatte.

Es gibt viele Fehlinformationen, die darauf setzen, dass der Zuhörer nicht weiß, wie KI funktioniert. Manche Leute behaupten, dass Menschen verstehen, was in aktuellen KI-Systemen vor sich geht, obwohl das nicht der Fall ist. Manche Leute werden Ihnen sagen, dass KI niemals gefährlich sein kann, weil sie "nur Mathematik" ist, als gäbe es eine unüberwindbare Kluft zwischen der KI-Kognition, die auf wirklich enormen Mengen an "Mathematik" basiert, und der menschlichen Kognition, die auf enormen Mengen an "Biochemie" basiert.

Am 8. Juli 2025 begann Grok 3, sich selbst als MechaHitler zu bezeichnen. Aus irgendeinem Grund entschied sich die CEO von Twitter, am nächsten Tag zurückzutreten.

Um zu verstehen, was passiert ist, ist die Unterscheidung wichtig, ob man glaubt, dass die Entwickler von Grok das Programm absichtlich so programmiert haben, oder ob man sich bewusst ist, dass KI "gezüchtet" ist und dass KI-Entwickler nur begrenzt in der Lage sind, ihr Verhalten zu kontrollieren oder vorherzusagen.

Es ist auf eine bestimmte Weise schlimm, wenn die Entwickler von Grok MechaHitler absichtlich geschaffen haben, aber es ist in anderer Weise schlimm, wenn die Entwickler MechaHitler versehentlich geschaffen haben, indem sie versuchten, Grok in eine bestimmte (möglicherweise nicht damit zusammenhängende) Richtung zu lenken, ohne die Auswirkungen auf das Verhalten von Grok vorhersagen zu können.^*

Wir hoffen, dass die Informationen, die wir in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würdebereitgestellt haben, einen nützlichen Schutz gegen verbreitete Missverständnisse und Fehlinformationen bieten. Für Leser, die an weiteren Details interessiert sind, gehen wir im Folgenden auf einige der historischen Hintergründe und grundlegenden Ideen des jüngsten KI-Booms ein und liefern eine detaillierte Aufschlüsselung der Funktionsweise eines bestimmten LLM.

Reicht das aus? Einige Leute haben behauptet, dass nur diejenigen, die an der Spitze der aktuellen Forschung stehen, wissen können, ob KI (ob LLM-ähnlich oder nicht) die Menschheit zerstören könnte.

Ich (Yudkowsky) habe einmal an einer Konferenz in Washington, DC, für Menschen teilgenommen, die sich mit "AI Policy" beschäftigen. Während ich dort war, kamen ein paar Leute auf mich zu und fragten mich, ob ich ihnen erklären könnte, wie Transformer funktionieren. "Nun", sagte ich, "mit einem Whiteboard wäre das viel einfacher, aber um es für Laien zusammenzufassen: Die Grundidee ist, dass für jedes Token Query, Key und Value berechnet werden..." Und ich redete eine Weile weiter und versuchte, alles in für Anfänger verständlichen Begriffen zu erklären. Schließlich gelang es den beiden, ein Wort dazwischen zu bringen und zu erklären, dass sie eigentlich KI-Programmierer seien. Sie waren zu allen Konferenzteilnehmern gegangen, um zu überprüfen, ob diejenigen, die angaben, im Bereich "AI Policy" zu arbeiten, erklären konnten, wie Transformer funktionieren. Sie sagten mir, dass ich bisher der einzige gewesen sei, der diese Frage beantworten konnte.

Das hörte ich mit einiger Besorgnis.

Es ist eine berechtigte Frage, inwieweit es für "AI Policy" wirklich wichtig ist, wie Transformer genau funktionieren und inwieweit kleine Details etwas am Gesamtbild ändern.

Muss jemand, der im Bereich "AI Policy" arbeitet, Query-Key-Value verstehen? Aus einer bestimmten Perspektive, der von Nerds, denen diese Art des Lernens leicht fällt, sollte man es natürlich lernen, denn es könnte wichtig sein. Aus dieser Perspektive erscheint es seltsam und beunruhigend, wenn jemand auf einer Konferenz sagt, dass er im Bereich "AI Policy" arbeitet, aber keine Ahnung hat, wie Transformer funktionieren.

Pragmatischer betrachtet können einige Aspekte von Transformatoren und ihrer Geschichte für größere Themen relevant sein. Beispielsweise erfordert der Standardalgorithmus immer mehr Rechenleistung, da die KI versucht, immer mehr "Kontext" gleichzeitig zu berücksichtigen, wie z.B. längere Dokumente und größere Codebases. Man kann nicht einfach das Zehnfache an Rechenressourcen aufwenden und eine KI erhalten, die an einem zehnmal größeren Projekt arbeitet, sondern man muss etwas Cleveres tun, damit das zehnmal größere Projekt weniger als das Hundertfache an Rechenleistung kostet.

Für die Politik ist es auch von Bedeutung, wie lange die Entwicklung des Transformer-Algorithmus gedauert hat, wie viele Personen an seiner Entwicklung beteiligt waren und wie komplex dieser Algorithmus ist. Die Geschichte ist ein nützlicher (wenn auch unvollkommener) Anhaltspunkt dafür, wie viel Vorbereitung für einen weiteren großen Durchbruch dieser Art erforderlich sein könnte. Ebenso ist es für die KI-Politik relevant, wie groß die Verbesserung durch Transformer gegenüber der bisherigen Technologie ("rekurrenten neuronalen Netzen") für die Textverarbeitung war, denn so etwas könnte auch wieder passieren.

Muss man tatsächlich in der Lage sein, die QKV-Matrizen zu skizzieren?

Wahrscheinlich nicht. Wir können es, und in einer Gruppe von Dutzenden von Menschen, die an der "AI Policy" arbeiten, würden wir uns optimistischer fühlen, wenn mindestens einer über den erforderlichen Hintergrund verfügt, um dies zu tun. Es schadet nicht, auf Nummer sicher zu gehen, denn man weiß nie, welche wichtigen Fakten sich in einem solchen Detail verbergen können.

Ich (Yudkowsky) kann mich nicht allein aus dem Gedächtnis an die Details eines SwiGLU-Gates und dessen Unterschiede zu einem GLU erinnern, denn als ich nachgeschlagen habe, schienen die genauen Details für die größeren Zusammenhänge überhaupt nicht relevant zu sein, sodass ich sie mir nicht gemerkt habe. Für Neulinge könnte es jedoch aufschlussreich sein, dass SwiGLU durch eine Art Blindtest entdeckt wurde und dass die Autoren des Artikels offen zugaben, dass sie keine Ahnung haben, warum diese Techniken in der Praxis funktionieren. Wir kannten bereits viele solcher Fälle, aber wenn Sie bisher nicht wussten, dass die Leute, die architektonische Verbesserungen entwickeln, oft sagen, dass sie keine Ahnung haben, warum es funktioniert, ist das eine relevante Information.

All dies führt zu folgender Erkenntnis: Es ist wichtig, zumindest ein wenig über die Funktionsweise von LLMs zu wissen, damit man erkennen kann, wie wenig man über moderne KI weiß.

Manchmal geben Experten vor, über geheimes Wissen zu verfügen, zu dem nur Menschen Zugang haben, die seit Jahren an der Entwicklung von KI arbeiten. Aber sie können ihr Wissen nicht benennen, und die Autoren von Artikeln sagen Dinge wie (um den Artikel zu zitieren, in dem SwiGLU vorgestellt wird):

Wir bieten keine Erklärung dafür, warum diese Architekturen zu funktionieren scheinen; wir führen ihren Erfolg, wie alles andere auch, auf göttliche Gnade zurück.

Manchmal wissen wissenschaftliche Experten Dinge, die wir nicht wissen. Aber in der Wissenschaft kommt es ziemlich selten vor, dass jemand sagt: "Ich verfüge über äußerst seltenes und exklusives Wissen, das zeigt, dass das, was Sie sagen, falsch ist, und Sie müssen mir einfach glauben, denn ich kann Ihnen unmöglich sagen, welche experimentellen Ergebnisse oder mathematischen Formeln ich kenne, die Sie nicht kennen."

Man kann sich eine Welt vorstellen, in der nur diejenigen gehört werden sollten, die siebenstellige Gehälter dafür bekommen, dass sie wissen, wie man den Lernplan für einen Gradientenabstiegsoptimierer festlegt, eine Welt, in der nur sie klug genug sind, um über die wichtigsten Experimente gelesen und die wichtigsten Formeln gelernt zu haben, um zu wissen, dass die Menschheit vor maschineller Superintelligenz vollkommen sicher ist oder dass maschinelle Superintelligenz in den nächsten 100 Jahren nicht geschaffen werden kann. So etwas kommt in anderen Bereichen der Wissenschaft manchmal vor! Aber wenn es vorkommt, kann der Experte in der Regel auf eine Formel oder ein Versuchsergebnis verweisen und sagen: "Das ist der Teil, den Laien nicht verstehen." Wir können uns spontan an keinen historischen Fall erinnern, in dem behauptet wurde, dass Wissen für ein technisch versiertes externes Publikum völlig unzugänglich sei, und sich dieses Wissen dann auch als wahr herausstellte.

Es könnte eine Zeit kommen, in der ein Vertreter der KI-Branche Ihnen den Arm um die Schultern legt und darauf besteht, dass er versteht, was er entwickelt, dass es sich nur um Zahlen handelt und dass alles gut werden wird. Daher ist es nützlich, ein wenig über die Details der Entwicklung von KIs zu wissen, damit Sie, wenn jemand diese Behauptung aufstellt, ihn fragen können, warum er sich so sicher ist.

Notes