Artikel IV: KI-Training

Jede Vertragspartei verpflichtet sich, KI-Training oberhalb der folgenden Schwellenwerte zu verbieten und zu untersagen: Jedes Training, das 1e24 FLOP überschreitet, oder jedes Post-Training, das 1e23 FLOP überschreitet. Jede Vertragspartei verpflichtet sich, keine Trainings oberhalb dieser Schwellenwerte durchzuführen und keiner Einrichtung innerhalb ihres Hoheitsgebiets zu gestatten, Trainings oberhalb dieser Schwellenwerte durchzuführen.

Das Technische Sekretariat kann diese Schwellenwerte gemäß dem in Artikel III beschriebenen Verfahren ändern.

Jede Vertragspartei meldet der ISIA vor Beginn jedes Trainingslaufs zwischen 1e22 und 1e24 FLOP. Dies gilt für Trainingsläufe, die von der Vertragspartei oder einer Einrichtung in ihrem Hoheitsgebiet durchgeführt werden.

Dieser Bericht muss unter anderem alle Trainingscodes und eine Schätzung der insgesamt zu verwendenden FLOP enthalten. Die Vertragspartei muss den Mitarbeitern der ISIA unter Aufsicht Zugang zu allen Daten gewähren, wobei der Zugang entsprechend der Sensibilität der Daten protokolliert und Schutzmaßnahmen gegen Vervielfältigung oder unbefugte Offenlegung getroffen werden müssen. Wird den Mitarbeitern der ISIA kein ausreichender Zugang zu den Daten gewährt, kann die ISIA nach eigenem Ermessen den Trainingslauf ablehnen. Die ISIA kann zusätzliche Unterlagen zum Trainingslauf anfordern. Die ISIA genehmigt außerdem im Voraus eine Reihe kleinerer Änderungen, die während des Trainings am Trainingsverfahren vorgenommen werden können. Alle derartigen Änderungen werden der ISIA gemeldet, sobald sie vorgenommen werden.
Wenn die ISIA nach 30 Tagen nicht reagiert hat, gilt dies als Genehmigung, jedoch kann die ISIA diese Frist verlängern, indem sie mitteilt, dass sie zusätzliche Zeit für die Prüfung benötigt. Diese Verlängerungen sind nicht begrenzt, aber die Vertragsparteien können gegen übermäßige Verzögerungen beim Direktor oder beim Exekutivrat Einspruch einlegen.
Die ISIA kann solche Trainingsläufe überwachen, und die Partei stellt der ISIA auf Anfrage Kontrollpunkte des Modells zur Verfügung, einschließlich des endgültigen trainierten Modells [die ersten Details für eine solche Überwachung müssten in einem Anhang beschrieben werden].
Falls die Überwachung auf bedenkliche KI-Fähigkeiten oder -Verhaltensweisen hindeutet, kann die ISIA anordnen, einen Trainingslauf oder eine Klasse von Trainingsläufen zu unterbrechen, bis sie die Fortsetzung des Trainingslaufs für sicher erachtet.
Die ISIA wird strenge Sicherheitsvorkehrungen treffen. Die ISIA wird keine Informationen über gemeldete Trainingsläufe weitergeben, es sei denn, sie stellt fest, dass das gemeldete Training gegen den Vertrag verstößt. In diesem Fall wird sie allen Vertragsparteien ausreichende Informationen zur Verfügung stellen, um festzustellen, ob ein Verstoß vorliegt.
Falls eine Vertragspartei einen Trainingslauf entdeckt, der die festgelegten Schwellenwerte überschreitet, muss sie diesen Trainingslauf der ISIA melden und ihn (sofern er noch läuft) unterbrechen. Ein solcher Trainingslauf darf nur mit Genehmigung der ISIA wieder aufgenommen werden.

Jede Vertragspartei und die ihrer Gerichtsbarkeit unterstehenden Stellen können Trainingsläufe mit weniger als 1e22 FLOP ohne Aufsicht oder Genehmigung durch die ISIA durchführen.
Die ISIA kann mit einer Zweidrittelmehrheit des Exekutivrats spezifische Ausnahmen für Aktivitäten wie Sicherheitsbewertungen, selbstfahrende Fahrzeuge, Medizintechnik und andere Aktivitäten genehmigen, die vom Generaldirektor als sicher eingestuft werden. Diese Ausnahmen können Trainingsläufe mit mehr als 1e24 FLOP unter Aufsicht der ISIA oder eine vermutete Genehmigung der ISIA für Trainingsläufe zwischen 1e22 und 1e24 FLOP ermöglichen.

Präzedenzfall

Die in unserer Vereinbarung festgelegten Schwellenwerte können und sollten zwar überarbeitet werden, wenn wir über die erste Entwurfsphase hinauskommen, doch sind quantitative Obergrenzen in internationalen Vereinbarungen üblich, um Streitigkeiten vorzubeugen, die sonst auf unterschiedlichen Auslegungen qualitativer Formulierungen beruhen würden.

Das Threshold Test Ban Treaty von 1974 legte eine Obergrenze von 150 Kilotonnen für unterirdische Atomtests der USA und der UdSSR fest.^* Der Zweck und die Wirkung dieses Vertrags bestand darin, die weitere Entwicklung größerer und zerstörerischerer "City Buster"-Sprengköpfe zumindest etwas zu behindern. Eine relevante Parallele zur KI-Entwicklung besteht darin, dass ab Mitte 2025 allgemeinere und leistungsfähigere und damit gefährlichere Modelle entsprechend umfangreichere Trainingsläufe erfordern. Unser Vertrag legt Obergrenzen fest, die verhindern sollen, dass solche KIs absichtlich entwickelt werden, aber auch den wesentlichen (wenn auch nicht parallelen) Vorteil bieten, das Risiko zu verringern, dass eine unvorhergesehene Fähigkeitsschwelle versehentlich und unwiderruflich überschritten wird.

Die von uns als Ausgangspunkt vorgeschlagene Trainingsgrenze ist so niedrig, dass einige der heute trainierten KI-Modelle sie überschreiten würden; wir halten dies für umsichtig in Erwartung von Fortschritten, die neuere Modelle pro Trainingseinheit leistungsfähiger machen (siehe Artikel VIII). Rüstungsreduzierungsabkommen bieten Präzedenzfälle für Schwellenwerte, die unter dem derzeitigen Höchstniveau liegen. Der Washingtoner (Marine-)Vertrag von 1922 legte Grenzwerte für die Verdrängung von Kriegsschiffen fest, die die USA und andere Seemächte dazu verpflichteten, Dutzende von Großkampfschiffen zu verschrotten.^† In Artikel II des START-Vertrags von 1991,^‡einigten sich die USA und die Sowjetunion (und später die Russische Föderation) auf Begrenzungen der Größe ihrer Atomwaffenarsenale und Trägersysteme, die sie dazu verpflichteten, jeweils mehr als viertausend Sprengköpfe aus dem Verkehr zu ziehen.

Präzedenzfälle für quantitative Schwellenwerte, die das Ausbruchspotenzial begrenzen, werden in Artikel V erörtert.

Anmerkungen

In den letzten Jahren sind die Fortschritte im Bereich der KI in erster Linie auf eine Zunahme der für das KI-Training eingesetzten Rechenressourcen zurückzuführen. Eine Beschränkung dieser Ressourcen und eine Einschränkung der Forschung im Bereich der algorithmischen Fortschritte (beschrieben in Artikel VIII) würden das Risiko, dass in naher Zukunft eine Superintelligenz geschaffen werden könnte, drastisch verringern.

Die Einschränkungen in unserem Entwurf basieren auf der Anzahl der verwendeten Rechenoperationen, da diese relativ einfach zu definieren und zu messen sind. Die Leistung der derzeitigen modernsten KI gibt Aufschluss darüber, welche Mengen an Rechenhardware sicher erscheinen, zumindest bei Verwendung von KI-Algorithmen ab Mitte 2025.

Wir würden es vorziehen, das Training auf der Grundlage der Fähigkeiten des trainierten Systems zu begrenzen. Aber niemand verfügt über die technischen Möglichkeiten, um vor dem Training einer neuen KI zuverlässig vorherzusagen, was sie leisten kann und was nicht. Rechenressourcen sind ein verfügbarer Ersatzwert.

Das strenge Verbot von 1e24 FLOP für das Training liegt etwas unter dem Wert, der für das Training von Modellen verwendet wird, die dem Stand der Technik im August 2025 nahekommen (wie DeepSeek-V3, trainiert mit 3e24 FLOP). Wir schlagen diesen Schwellenwert vor, weil er unter dem Niveau liegt, bei dem wir KI als gefährlich einschätzen (unter Berücksichtigung der aktuellen Algorithmen), und weil er einen gewissen Spielraum und einen Puffer gegenüber dem algorithmischen Fortschritt bietet.

Das Verbot von mehr als 1e23 nach dem Training soll für das Training von KI gelten, die vor Inkrafttreten des Vertrags erstellt wurde. Viele dieser KI-Systeme wurden mit mehr als 1e24 FLOP trainiert; Mitte 2025 gibt es zwischen 50 und 100 solcher Modelle. Da die Gewichte vieler dieser KI-Systeme offen veröffentlicht wurden, ist es nicht möglich, ihre Nutzung zu verhindern, aber es ist möglich, größere Änderungen durch Nach-Training zu verhindern.

Ein 1e22-FLOP-Trainingslauf auf 16 H100 würde etwa eine Woche dauern. Dies ist so rechenintensiv, dass Hobbyisten den Schwellenwert nicht versehentlich überschreiten würden, wenn sie kleine und zulässige Modelle trainieren. KI, die im 1e22-Maßstab (mit aktuellen Algorithmen) trainiert wurde, scheint bislang harmlos zu sein, allerdings müsste diese Situation überwacht werden, da sie sich aufgrund des nicht zu verhindernden Fortschritts der KI-Forschung ändern könnte. Die Verpflichtung zur Meldung, aber nicht zur Genehmigung von Trainingsläufen im Bereich von 1e22 bis 1e24 FLOP scheint uns einen Ausgleich zu schaffen zwischen der Möglichkeit, einige der Vorteile des Trainings von KI auf eine derzeit als sicher erscheinende Weise zu nutzen, und der Beibehaltung der Fähigkeit, die Schaffung größerer, potenziell gefährlicher KI zu verhindern.

Die Überwachung durch die ISIA würde es ihr auch ermöglichen, (einigermaßen) über alle algorithmischen Fortschritte auf dem Laufenden zu bleiben, die trotz der Verbote erzielt werden, und Artikel XIII sieht eine Bewertung der in diesem Bereich trainierten Modelle durch die ISIA vor. Dies würde dazu beitragen, die ISIA über Trends in der KI-Entwicklung zu informieren und die FLOP-Schwellenwerte entsprechend anzupassen.

Die Mitarbeiter der ISIA haben unter bestimmten Einschränkungen Zugang zu den Trainingsdaten, die in überwachten Trainingsläufen verwendet werden. Der Zweck dieser Einschränkungen besteht darin, sicherzustellen, dass Protokollierungs- und andere Überwachungsmethoden eingesetzt werden, um die unbefugte Offenlegung sensibler Inhalte in den Trainingsdaten zu verhindern, darunter unter anderem personenbezogene Daten, persönliche Gesundheitsdaten, geheime Daten, Geschäftsgeheimnisse und Bankdaten, die dem Geheimhaltungsgesetz unterliegen.

* Die USA und die UdSSR hatten bereits 1963 mit dem Vertrag über das Verbot von Kernwaffenversuchen in der Atmosphäre, im Weltraum und unter Wasser, allgemein bekannt als Vertrag über das Verbot von Kernwaffenversuchen (LTBT) oder Teststoppvertrag, vereinbart, andere Arten von Kernwaffentests einzustellen.

† Der Vertrag zwischen dem Britischen Empire, Frankreich, Italien, Japan und den Vereinigten Staaten von Amerika zur Begrenzung der Seestreitkräfte (Washingtoner Flottenabkommen) listet in einer Tabelle (Abschnitt II) die zu verschrottenden Schiffe namentlich auf.

‡ Der Vertrag über die Reduzierung strategischer Waffen wurde 1991 unterzeichnet und trat 1994 in Kraft. Den Unterzeichnern wurde untersagt, mehr als 6.000 Atomsprengköpfe auf insgesamt 1.600 Interkontinentalraketen und Bombern zu stationieren.

Artikel V: Chip-Konsolidierung

→