Was wäre nötig, um die weltweite Entwicklung von KI zu stoppen?
Wir sind keine Experten für internationales Recht, und dies ist ein äußerst komplexes Thema, das unserer Meinung nach einen großen Aufwand seitens der Fachleute erfordert. Um jedoch schnell voranzukommen, haben wir gemeinsam mit unserem technischen Governance-Team und externen Beratern einige Skizzen und Vermutungen zu möglichen wirksamen Maßnahmen zusammengestellt.
Wir bieten diese im Sinne der Förderung von Gesprächen, Debatten, Kritik und Iteration an. Diese ersten Entwürfe sollten keinesfalls als verbindlich oder maßgeblich angesehen werden.
Als ersten Schritt wollen wir uns mit den Einschränkungen und der Form des Problems befassen, das wir zu lösen versuchen, was ein Thema ist, das leicht ein ganzes Buch füllen könnte. Das Gesamtproblem besteht seit Jahrzehnten darin, die Entwicklung maschineller Superintelligenz zu verhindern. Und da wir nicht wissen, wo die kritischen Schwellenwerte liegen, läuft dies im Wesentlichen darauf hinaus, die Forschung und Entwicklung im Bereich der KI vollständig zu stoppen.
Die aktuellen Fortschritte im Bereich der KI sind auf eine Kombination aus der Entwicklung besserer Computerchips, dem Einsatz von mehr Chips für längere Trainingsläufe und der Verbesserung von KI-Algorithmen zurückzuführen. Wir werden uns nacheinander mit jedem dieser Punkte befassen und die entsprechenden Hebel erklären, mit denen der Fortschritt in Richtung künstlicher Superintelligenz gestoppt werden kann.
Verhinderung der Entwicklung weiterer und besserer KI-Chips
Die Steigerung der Leistungsfähigkeit moderner KI erfordert enorme Investitionen in Rechenleistung und Strom. Daher scheint es für moderne staatliche Akteure möglich zu sein, alle relevanten Einrichtungen zu identifizieren und zu überwachen und die Entstehung neuer solcher Einrichtungen zu verhindern, ohne dass dies nennenswerte Auswirkungen auf die Verbraucherhardware hat.
Die Lieferkette für die Herstellung fortschrittlicher KI-Chips ist extrem konzentriert.* Für einige Schritte in der Lieferkette gibt es weltweit nur ein einziges Unternehmen, das diese Rolle übernehmen kann, und diese Unternehmen befinden sich größtenteils in Ländern, die traditionell mit den Vereinigten Staaten verbündet sind.
Beispielsweise können nur wenige Unternehmen KI-Chips herstellen, in erster Linie das taiwanesische Unternehmen TSMC und eine der wichtigsten Maschinen, die bei der Herstellung von High-End-Chips zum Einsatz kommt, wird ausschließlich vom niederländischen Unternehmen ASML produziert. Dabei handelt es sich um eine Extrem-Ultraviolett-Lithografie-Maschine, die so groß wie ein Schulbus ist, 200 Tonnen wiegt und mehrere hundert Millionen Dollar kostet.
Diese Lieferkette ist das Ergebnis jahrzehntelanger Innovation und Investitionen, und es ist zu erwarten, dass es sehr schwierig sein wird, sie zu replizieren. Selbst für technologisch fortgeschrittene Länder würde dies wahrscheinlich mehr als ein Jahrzehnt dauern.†
Die fortschrittlichsten KI-Chips sind zudem sehr spezialisiert, sodass ihre Verfolgung und Überwachung nur geringe Ausstrahlungseffekte hätte. Der H100-Chip von NVIDIA, einer der gängigsten KI-Chips Mitte 2025, kostet etwa 30.000 US-Dollar pro Stück und ist aufgrund seiner Kühlungs- und Stromanforderungen für den Einsatz in Rechenzentren ausgelegt.‡ Diese Chips sind für die numerischen Operationen optimiert, die beim Training und Betrieb von KI erforderlich sind, und sie sind bei KI-Workloads in der Regel um das Zehn- bis Tausendfache leistungsfähiger als Standardcomputer (Consumer-CPUs).§
Die Konzentration und Komplexität der Lieferkette für KI-Chips macht es einfacher als erwartet, die Entwicklung fortschrittlicher KI zu stoppen. Es wäre einfach, die Produktion neuer KI-Chips einzustellen. Angesichts der Komplexität und Vernetzung des Produktionsprozesses wäre nur eine minimale Überwachung einer kleinen Anzahl wichtiger Lieferanten erforderlich, um sicherzustellen, dass keine geheimen Lieferketten entstehen.
Ein Teil der Infrastruktur wird sowohl für die Herstellung von KI-Chips als auch für andere fortschrittliche Computerchips (z. B. Handy-Chips) verwendet, aber es gibt bemerkenswerte Unterschiede zwischen diesen Chips. Wenn die Produktion fortschrittlicher KI-Chips eingestellt würde, wäre es möglich, zu überwachen und sicherzustellen, dass bei der laufenden Chip-Produktion nur Chips hergestellt werden, die nicht für KI spezialisiert sind.
Bereits vorhandene spezialisierte KI-Chips könnten überwacht werden, wenn sie aufbewahrt und zum Betrieb bestehender KIs wie ChatGPT verwendet werden. Es wäre zwar eine Herausforderung, sicherzustellen, dass solche Chips nur für den Betrieb von KIs mit geringer Leistungsfähigkeit (und nicht für neuartige Forschung und Entwicklung) verwendet werden, aber keine unüberwindbare. Die Standorte bestehender Chips könnten verfolgt und überwacht werden, und es gibt verschiedene mögliche Mechanismen, mit denen überprüft werden könnte, wofür diese Chips verwendet werden. Diese Art der Überwachung erfordert physischen Zugang zu den Chips (z. B. durch Inspektoren, die Messungen in einem Rechenzentrum vornehmen). Ein Fernzugriff könnte für die Überprüfung ausreichend sein, wenn neue Chips mit verbesserter Sicherheit hergestellt und unter Berücksichtigung der Überprüfung und Überwachung entwickelt würden. Wie wir im folgenden Abschnitt diskutieren, sind die Chipkonzentrationen, die erforderlich sind, um gefährlich zu sein (auf dem Niveau der KI-Algorithmen vom August 2025), so groß, dass es für staatliche Akteure nicht schwierig wäre, alle derartigen Einrichtungen aufzuspüren und sie regelmäßigen Inspektionen zu unterziehen.
Verhinderung der Verwendung von mehr und besseren KI-Chips
Wenden wir uns nun von der Produktion von Chips der Verwendung von Chips zu: Die derzeit größten KI-Rechenzentren beherbergen Hunderttausende von KI-Chips, die Milliarden von Dollar kosten. Um eine der derzeit leistungsfähigsten KIs zu trainieren, müssen diese Chips monatelang ununterbrochen eingesetzt werden.
Jeder dieser Chips hat einen ähnlichen Stromverbrauch wie ein durchschnittlicher amerikanischer Haushalt, sodass ein Rechenzentrum mit Hunderttausenden von Chips einen Stromverbrauch hat, der mit dem einer Kleinstadt vergleichbar ist.¶ Die Stromversorgung all dieser Chips erfordert eine spezielle elektrische Infrastruktur, wie z. B. große Übertragungsleitungen. Diese Rechenzentren sind außerdem ziemlich große Gebäude mit charakteristischen thermischen Signaturen, die durch den kontinuierlichen Betrieb und die Kühlung einer großen Anzahl energieintensiver Chips entstehen.
Intern beherbergen diese Rechenzentren Tausende von Chips in Server-Racks und verfügen über eine umfangreiche Kühlinfrastruktur, um sicherzustellen, dass die Chips nicht überhitzen. Wenn man eines dieser Gebäude betreten würde, wäre sofort klar, dass es sich um ein Rechenzentrum handelt. Es ist nicht so, als könnte man ihren Zweck vor internationalen Beobachtern verbergen, die an die Tür klopfen, insbesondere wenn diese die Chips im Rechenzentrum überprüfen und feststellen, dass es sich um KI-spezialisierte Chips handelt.
Große Rechenzentren und die dazugehörige Energieinfrastruktur sind so groß, dass sie von umlaufenden Satelliten aus identifiziert werden können. Das bedeutet, dass Regierungen, die aktuelle große Rechenzentren lokalisieren wollten, dies wahrscheinlich mit einer hohen Erfolgsquote tun könnten, unabhängig davon, ob sich diese Rechenzentren innerhalb ihrer Grenzen oder in anderen Ländern befinden. Obwohl der Stand des öffentlichen Wissens begrenzt ist, könnte allein diese Maßnahme dazu führen, dass die meisten High-End-KI-Chips aufgespürt werden.‖
Staaten könnten in Zukunft versuchen, ihre Rechenzentren zu verstecken, um ihre Identifizierung durch Satelliten zu erschweren. Beispielsweise könnten Staaten versuchen, ein Rechenzentrum in einem Berg zu verstecken (wie im Cheyenne Mountain Complex, in dem NORAD untergebracht ist), wo es von oben nicht sichtbar wäre. Dennoch wäre es schwierig, die für den Betrieb des Rechenzentrums erforderliche Infrastruktur zu verstecken.
Der wichtigste Faktor, der die Erkennung begünstigt, ist der sehr hohe Strombedarf von Rechenzentren. Dieser Strom wird in der Regel über Übertragungsleitungen bereitgestellt, die fast immer oberirdisch verlaufen. Es ist zwar möglich, Übertragungsleitungen unterirdisch zu verlegen, dies ist jedoch wesentlich teurer und zeitaufwändiger, und auch die Bauarbeiten zur Verlegung der Übertragungsleitungen lassen sich nur schwer verbergen.#
Solange für das Training einer hochmodernen KI weiterhin mehr als 100.000 Chips benötigt werden, scheint es durchaus möglich, dass staatliche Akteure jedes relevante Rechenzentrum entdecken und überwachen können.
Verhinderung des algorithmischen Fortschritts
Effizientere KI-Algorithmen können den Rechenaufwand für das Training einer KI reduzieren oder es ermöglichen, mit einem bestimmten Rechenaufwand leistungsfähigere KIs zu entwickeln, oder beides.
Der algorithmische Fortschritt wird in erster Linie durch Forschung und Technik vorangetrieben, die derzeit von menschlichen Fähigkeiten und Anstrengungen abhängen.** Die für die Verbesserung von KI-Algorithmen erforderlichen Fähigkeiten sind relativ selten, was die hohen Gehälter der Spitzenforscher auf diesem Gebiet erklärt.
Obwohl diese Fähigkeiten heute selten sind, ist unklar, wie sich dies ändern könnte, wenn mehr Forscher in diesen Bereich einsteigen und mehr Wissen öffentlich wird. Je nachdem, wie man die Anzahl der Personen mit den erforderlichen Fähigkeiten zählen möchte, liegt die tatsächliche Zahl wahrscheinlich im dreistelligen oder niedrigen vierstelligen Bereich (z. B. basierend auf der Anzahl der KI-Forscher und -Ingenieure in führenden KI-Unternehmen).†† Konservative Schätzungen könnten viel höher ausfallen. Beispielsweise gibt es weltweit mehrere zehn Millionen Software-Ingenieure.
Rechtliche und soziale Interventionen könnten den algorithmischen Fortschritt wahrscheinlich dramatisch verlangsamen. Die meisten Menschen wollen nicht gegen das Gesetz verstoßen, insbesondere wenn dies reale Konsequenzen hat. Wenn es illegal wäre, bestimmte KI-Forschungsergebnisse zu veröffentlichen oder verschiedene KI-Experimente durchzuführen, die auf den katastrophalen Risiken einer ausreichend leistungsfähigen KI basieren, würde dies wahrscheinlich fast alle potenziellen KI-Forscher davon abhalten, wie wir bereits zuvor diskutiert haben. Regierungen könnten Exportkontrollen einführen, die die Weitergabe oder Veröffentlichung solcher Forschungsergebnisse ohne Exportlizenz und Genehmigung der Regierung illegal machen würden.
Auch soziale Tabus würden helfen. Als Präzedenzfall können wir die Asilomar-Konferenz über rekombinante DNA im Jahr 1975 betrachten, die zu einem freiwilligen Verbot bestimmter biologischer Experimente führte, von denen man annahm, dass sie unangemessene Risiken bergen. Theoretisch könnten Wissenschaftler ein freiwilliges Verbot der Weiterentwicklung von KI-Fähigkeiten verhängen. Dies würde jedoch voraussetzen, dass diese Wissenschaftler die Gefahr durch KI, die intelligenter ist als der Mensch, ernst nehmen, also eine Abkehr vom Status quo, in dem die Weiterentwicklung von KI-Fähigkeiten in vielen Kreisen gelobt wird. Angesichts der kurzsichtigen finanziellen Anreize und des bisherigen Verhaltens der Labore scheinen externe gesetzliche Beschränkungen äußerst wahrscheinlich notwendig zu sein, es sei denn, die Kultur in diesem Bereich ändert sich dramatisch (und kurzfristig).‡‡
Eine entscheidende Komponente, um ein unvollkommenes Verbot wirksam zu machen, könnte etwas so Offensichtliches sein wie die Sicherstellung, dass die Staats- und Regierungschefs der Welt tatsächlich verstehen, dass sie und ihre Familien persönlich sterben werden, wenn sie weiter voranschreiten, wie wir zuvor diskutiert haben. Die wahrscheinlichsten Szenarien für eine Nichteinhaltung sind solche, in denen Regierungen selbst entwickelte Superintelligenz als strategischen Vorteil (oder als Trugbild, das sie von profitablen neuen KI-Tools ablenkt) und nicht als globalen Selbstmordknopf betrachten. Regierungen würden viel seltener geheime ASI-Forschungsprojekte durchführen, wenn sie richtig erkennen würden, dass dies darauf hinausläuft, eine Waffe zu laden, sie an den Kopf zu halten und den Abzug zu betätigen.
Forschungsverbote würden nicht alle davon abhalten. Einige prominente Wissenschaftler und Führungskräfte aus der Technologiebranche haben bereits erklärt, dass die Vernichtung der Menschheit ein akzeptabler Preis für den Fortschritt sei.§§ Aber wir sollten nicht zulassen, dass das Perfekte zum Feind des Guten wird. Der algorithmische Fortschritt würde zumindest langsamer voranschreiten, wenn solche Personen von ihren Kollegen aus der finanziell ausgegrenzt und gemieden würden, sodass sie gezwungen wären, ihre tödliche Forschung außerhalb des Gesetzes und ohne Zusammenarbeit mit ihren integren Kollegen zu betreiben.
Je länger wir warten, desto schwieriger wird es
Wenn die Produktion und der Vertrieb von KI-Chips ihren derzeitigen Kurs fortsetzen, wird es immer schwieriger werden, sicherzustellen, dass genügend KI-Chips zentralisiert und überwacht werden. Selbst wenn die Staaten noch nicht von den Risiken überzeugt sind, bedeutet die heutige Einführung einer internationalen Nachverfolgung von KI-Chips, dass ein Eingreifen in Zukunft möglich bleibt. Dieses Zeitfenster könnte sich bald schließen, wenn die Regierungen nicht schnell handeln.
Wenn Forscher weiterhin die Entwicklung von KI-Algorithmen vorantreiben dürfen, werden wahrscheinlich immer weniger KI-Chips eine ernsthafte Bedrohung darstellen. Wenn KI-Systeme in der Lage sind, Teile des KI-Forschungs- und Entwicklungsprozesses zu automatisieren, könnte es besonders schwierig werden, die KI-Entwicklung zu kontrollieren. Solche Systeme könnten leicht kopiert und verbreitet werden, und die für ihren Betrieb erforderliche Hardware wäre möglicherweise nicht besonders umfangreich. (Die Hardwareanforderungen für den Betrieb von KI-Systemen sind viel geringer als die für das Training von KI-Systemen.
Letztendlich könnte es für die Regierungen weltweit unmöglich sein, die Entwicklung superintelligenter KI-Systeme zu stoppen. Wir sind noch nicht so weit, aber es wird von Monat zu Monat schwieriger. Der von uns skizzierte Plan basiert auf der Prämisse, die KI-Entwicklung bald zu stoppen. Es gibt andere Pläne, die nicht auf dieser Annahme beruhen, aber sie sind schwieriger umzusetzen, gehen mit höheren Kosten für die persönlichen Freiheiten einher und bergen ein größeres Risiko des Scheiterns.
* Thandi und Allen vom Center for Strategic & International Studies haben die Lieferkette für Halbleiter analysiert.
† Laut einer Analyse von Saif M. Kahn vom Center for Security and Emerging Technology (CSET).
‡ Einen Bericht über KI-Chips und deren Unterschiede zu Verbraucherhardware finden Sie in einer Analyse von Kahn vom CSET.
§ Sie werden manchmal für andere rechenintensive Aufgaben wie Physik- und Wettersimulationen verwendet, aber in erster Linie kommen sie in der KI zum Einsatz. Eine schnelle Methode, um abzuschätzen, wie viele KI-Chips für Nicht-KI-Aktivitäten verwendet werden, ist die Betrachtung der Umsatzentwicklung des wichtigsten Chipherstellers NVIDIA. Wenn wir davon ausgehen, dass der jüngste Boom bei der Nachfrage nach ihren GPUs für Rechenzentren fast ausschließlich auf KI-Anwendungen zurückzuführen ist, was eine vernünftige Annahme angesichts des enormen Booms in der KI-Branche in letzter Zeit und des Fehlens eines vergleichbaren Trends in anderen Bereichen ist, in denen diese Chips verwendet werden, würden wir zu dem Schluss kommen, dass KI den größten Teil der KI-Chip-Nutzung ausmacht, da das jüngste Umsatzwachstum die bisherigen Umsätze in den Schatten stellt. Die Verhinderung der Herstellung spezialisierter KI-Chips muss keine großen Auswirkungen auf Verbraucherhardware haben.
¶ Einen Bericht über die KI-Infrastruktur finden Sie in der Arbeit des Institute For Progress.
‖ Eine Analyse der Trends bei der Produktion und dem Besitz von High-End-KI-Chips finden Sie im Bericht von Pilz et. al. über Trends bei KI-Supercomputern.
# Es könnte möglich sein, Strom vor Ort zu erzeugen und so auffällige Übertragungsleitungen zu vermeiden. Der derzeitige Cheyenne Mountain Complex nutzt Dieselgeneratoren und verfügt wahrscheinlich über die Kapazität, etwa 10.000 der modernsten KI-Chips mit Strom zu versorgen. Um diese Chips jedoch für einen umfangreichen Trainingslauf kontinuierlich zu betreiben, müsste ständig Kraftstoff geliefert werden, was auffallen würde. Grobe Berechnungen zeigen, dass diese 10.000 Chips täglich etwa einen Tanklastwagen benötigen würden. Selbst wenn vor Ort die Kapazität zur Stromerzeugung für 200.000 Chips vorhanden wäre, wären dafür täglich 20 Tanklastwagen mit Diesel erforderlich.
Rechenzentren könnten auch mit Kernkraftwerken betrieben werden. Glücklicherweise verfügen viele staatliche Akteure bereits über Praxis und Erfahrung in der Überwachung des Baus neuer Kernkraftwerke.
** Beispiele für solche Fortschritte sind FlashAttention, ein Algorithmus, der KI-Chips dazu bringt, bestimmte mathematische Operationen effizienter auszuführen, indem er die Details des KI-Chip-Designs nutzt; Mixture-of-Experts, eine Änderung der Architektur von KIs, durch die nur ein Teil ihrer Parameter für jedes Eingabetoken (z. B. Wort) verwendet wird; und GRPO, eine Methode zur Feinabstimmung von KIs.
†† Eine Analyse der Knappheit an Spitzenforschern im Bereich KI finden Sie in Sharon Goldmans Artikel in Fortune.
‡‡ Eine weitere mögliche Maßnahme, vorausgesetzt, die Zahl der Forscher, die sich mit dem Fortschritt von KI-Algorithmen befassen, bleibt gering (d. h. im Bereich von Hunderten oder Tausenden), wäre, diese Forscher dafür zu bezahlen, dass sie ihre Bemühungen auf Nicht-KI-Anwendungen oder auf KI-Fähigkeiten oder Alignment-Forschung mit vernachlässigbarem Gesamtrisiko konzentrieren. Es gibt einen Präzedenzfall für diese Art von Intervention aus den 1990er Jahren, als die US-Regierung eine Initiative startete, um die Arbeit ehemaliger sowjetischer Waffenwissenschaftler und -techniker in produktive, nichtmilitärische Bereiche zu lenken.
§§ Eine Übersicht über die Aussagen prominenter Forscher und unsere Einschätzung, wo sie unserer Meinung nach falsch liegen, finden Sie in unserer Antwort auf die Frage „Warum interessieren Sie sich nicht für die Werte anderer Wesen als Menschen?“.