KI-Unternehmen stehen vor einem außerordentlich schwierigen Problem, in einer Situation, in der das Leben aller auf dem Spiel steht. Behandeln sie die Situation zumindest mit der gebotenen Ernsthaftigkeit?

Wir können die KI-Unternehmen mit einer Gruppe von Menschen vergleichen, die die Risiken in ihrem Zuständigkeitsbereich kompetent bewältigen: Fluglotsen.

Die US-Luftfahrtbehörde Federal Aviation Administration wickelt täglich mehr als drei Millionen Passagiere auf über 44.000 Flügen ab. In den letzten zwei Jahrzehnten gab es durchschnittlich etwa einen tödlichen Unfall pro Jahr oder etwa einen Unfall pro zwanzig Millionen Flugstunden.

Die Nachuntersuchungsberichte zu solchen Unfällen, wie dieser aus dem Jahr 2019 oder dieser aus dem Jahr 2018, umfassen fast zweihundert Seiten mit Daten, Tests, Untersuchungen und Ermittlungsdetails. Sie katalogisieren die technischen Konstruktionsspezifikationen der relevanten Flugzeugsubsysteme, die Beschäftigungsgeschichte der Piloten und Flugbegleiter, Details zur Fluggesellschaft und zum Flughafen, Sprachaufzeichnungen aus dem Cockpit und genaue Wetterdaten zu Tag, Stunde und Minute des Unfalls.

Allein die Zusammenfassung der technischen Analyse zur Ermittlung der wahrscheinlichen Ursache umfasst zwanzig Seiten. Hier ein Auszug:

Das Rotorblatt Nr. 13 im linken Triebwerk löste sich aufgrund eines Ermüdungsrisses mit geringer Zyklenanzahl, der in der Schwalbenschwanzverbindung außerhalb der Blattbeschichtung entstand. Die metallurgische Untersuchung des Rotorblattes ergab, dass seine Materialzusammensetzung und Mikrostruktur mit der spezifizierten Titanlegierung übereinstimmten und dass im Bereich des Bruchanfangs keine Oberflächenanomalien oder Materialfehler festgestellt wurden. Die Bruchfläche wies Ermüdungsrisse auf, die in der Nähe der Stelle entstanden waren, an der die größten Belastungen durch Betriebslasten und damit das größte Potenzial für Rissbildung zu erwarten waren.

Das verunglückte Rotorblatt versagte nach 32.636 Zyklen seit seiner Inbetriebnahme. In ähnlicher Weise versagten das gebrochene Rotorblatt im Zusammenhang mit dem PNS-Unfall im August 2016 (siehe Abschnitt 1.10.1) sowie die sechs anderen gerissenen Rotorblätter aus dem PNS-Unfalltriebwerk nach 38.152 Zyklen seit ihrer Inbetriebnahme. Darüber hinaus wurden zwischen Mai 2017 und August 2019 15 weitere gerissene Rotorblätter an CFM56-7B-Triebwerken identifiziert, die zum Zeitpunkt der Feststellung der Risse durchschnittlich etwa 33.000 Zyklen seit ihrer Inbetriebnahme absolviert hatten.

So sieht es aus, wenn ein technischer Berufsstand die Herausforderung, eine Katastrophe abzuwenden, ernst nimmt.^*

Vergleichen Sie den Beruf des Fluglotsen mit dem Verhalten der KI-Unternehmen, das in Kapitel 11 beschrieben wird.

KI-Unternehmen befinden sich in der Phase, in der sie Ideen austauschen und Journalisten und Erfindern vage beruhigende Plattitüden vorsagen. Das Alignment von Superintelligenz wird in diesen Unternehmen als Spiel betrachtet und nicht als ernsthafte Ingenieursdisziplin, geschweige denn als tödlich gefährliche.

Die NASA verlangt für den Start einer bemannten Rakete, dass die Wahrscheinlichkeit, dass die Besatzung ums Leben kommt, höchstens 1 zu 270 beträgt, und sie nimmt diese Grenze ernst, obwohl die einzigen Menschen, die einem Risiko ausgesetzt sind, eine Besatzung von Freiwilligen sind, die dieses Risiko akzeptiert haben. KI-Labore streben keine Standards an, die auch nur annähernd so streng sind, und die Technologie, die sie entwickeln, gefährdet weit mehr als nur Freiwillige.

Der einzige uns bekannte historische Vorfall, bei dem Wissenschaftler ernsthafte Bedenken äußerten, dass eine Erfindung buchstäblich alle Menschen töten könnte, ereignete sich während des Manhattan-Projekts. Einige Wissenschaftler äußerten die Befürchtung, dass eine Atombombe so heiß werden könnte, dass sie den Stickstoff in der Atmosphäre zum Schmelzen bringen, die Atmosphäre in Plasma verwandeln und alles Leben auf der Erde vernichten würde. Glücklicherweise hatten sie ein gutes Verständnis der physikalischen Gesetze und konnten die entsprechenden Berechnungen anstellen. Vor den Berechnungen beschloss einer der Wissenschaftler, Arthur Compton, das Projekt zu verlassen, wenn die Wahrscheinlichkeit einer Entzündung der Atmosphäre höher als 3 zu 1.000.000 sein sollte. Er hielt es für besser, das Risiko einzugehen, dass die Nazis den Alliierten mit der Bombe zuvorkommen, als auch nur eine Wahrscheinlichkeit von 3 zu 1.000.000 zu riskieren, dass durch sein eigenes Handeln die gesamte Luft in Plasma verwandelt würde.

Erinnern Sie sich daran, dass Sam Altman, der Leiter von OpenAI, öffentlich gesagt hat:

Die Entwicklung übermenschlicher maschineller Intelligenz ist wahrscheinlich die größte Bedrohung für das Fortbestehen der Menschheit.

Und der Chef von Anthropic, Dario Amodei, hat öffentlich erklärt:

Ich habe oft gesagt, dass ich die Wahrscheinlichkeit, dass etwas auf der Ebene der menschlichen Zivilisation katastrophal schiefgeht, auf 10 bis 25 Prozent schätze.

Und Elon Musk, der Chef von xAI, hat öffentlich erklärt:

Ich denke, wenn wir erst reagieren, wenn es um die Regulierung der KI geht, wird es zu spät sein. KI ist ein grundlegendes Risiko für die Existenz der menschlichen Zivilisation.

Verstehen Sie uns nicht falsch: Wir halten Amodeis Schätzung von "10 bis 25 Prozent" für lächerlich optimistisch, wenn man bedenkt, wie schwierig das Problem ist und dass Menschen diesmal nicht durch Versuch und Irrtum lernen können. Aber selbst dann sind seine Zahlen noch absurd.

Seriöse sicherheitskritische Ingenieursprojekte unterscheiden sich grundlegend von der Arbeit in KI-Labors. Seriöse Initiativen wie die NASA, das Manhattan-Projekt oder die Flugsicherung verfügen über umfassende Kenntnisse darüber, was genau in den von ihnen verwalteten Systemen vor sich geht, und führen nach jedem Ausfall detaillierte Nachuntersuchungen durch. Sie behandeln Überraschungen und Unregelmäßigkeiten als große Probleme, weil sie wissen, dass katastrophale Ausfälle oft aus vielen kleinen Fehlfunktionen resultieren, die sich auf genau die falsche Weise aneinanderreihen.

Unterdessen senden KIs immer mehr Warnsignale aus, und die Labore machen einfach weiter und sagen, dass wahrscheinlich alles irgendwie gut werden wird.

Sie versuchen nicht einmal, den Respekt vor einer echten Sicherheitsherausforderung vorzutäuschen, den die Flugsicherung hat; sie geben einfach fröhliche Garantien ab wie "GPT-4 ist unser bisher am besten abgestimmtes Modell!".

Das ist in gewisser Weise schön, denn so wird leichter erkennbar, dass diese Unternehmen nicht die Art von Einrichtungen sind, denen man die Lösung eines Problems wie dem ASI-Alignment anvertrauen sollte.

In einem technischen Umfeld wie dem aktuellen, in dem KI eher wächst als entwickelt wird und die Menschheit nur einen einzigen Versuch hat, ist niemand in der Lage, dies sicher zu tun, egal wie vorsichtig und rigoros der technische Ansatz auch sein mag.

Aber es vereinfacht die Sache sicherlich, wenn man sieht, dass keiner der Entwickler dieser Technologie auch nur ansatzweise vorsichtig oder rigoros in seinen Sicherheitsplänen oder -praktiken ist.