Eine natürliche Frage, die wir von vielen Lesern erwarten, lautet:

Sie sagen, dass alle sterben, wenn jemand ASI baut. Aber warum versucht dann überhaupt jemand, sie zu bauen? Wenn Sie Recht haben, folgen diese Leute letztendlich nicht einmal ihren eigenen Anreizen. Wenn alle sterben, sterben auch sie.

Eine zynische, spieltheoretische Erwiderung könnte so lauten:

Nun, angesichts ihrer Anreize ist das rational. Wenn sie sie nicht bauen, gehen sie davon aus, dass es jemand anderes tun wird. Und sie können genauso gut reich werden, bevor sie sterben.

Vielleicht reicht diese Antwort für einen Zyniker aus.

Einfache spieltheoretische Erklärungen wie diese missverstehen oder vereinfachen oft die reale menschliche Psychologie, aber diese Erklärung könnte auch einen Funken Wahrheit enthalten. Ein Ingenieur könnte denken, dass wahrscheinlich alle durch ASI sterben werden, aber dass seine eigenen Handlungen diese Wahrscheinlichkeit nicht wesentlich beeinflussen. In der Zwischenzeit kommen sie in den Genuss von wahnsinnig viel Geld, coolen Spielzeugen und Tête-à-têtes mit großen, wichtigen Leuten, die sie respektvoll ansehen. Vielleicht werden sie zu den Gottkönigen der Erde, wenn die ASI nicht alle Menschen tötet, aber nur, wenn ihr Unternehmen das Rennen um den Bau der ASI gewinnt...

Aus der Perspektive eines OpenAI-Forschers, der die Gefahr erkennt: Wenn er nicht für OpenAI arbeitet, zerstört OpenAI wahrscheinlich trotzdem die Welt. (Selbst wenn OpenAI geschlossen würde, würde Google die Welt trotzdem zerstören. Aber wenn sie für OpenAI arbeiten, erhalten sie hohe sechs- bis siebenstellige Gehälter, und wenn sie nicht sterben, werden sie vielleicht zusätzliche Macht und Ruhm erlangen, weil sie zum Gewinnerteam gehören. Die spieltheoretischen Anreize jedes Einzelnen treiben sie also dazu, gemeinsam die Welt zu zerstören.

Wir sind der Meinung, dass diese Art von Erklärung etwas übertrieben ist, und wir erwähnen sie vor allem, weil es eine Art von Menschen gibt, die (viel mehr als wir) glauben, dass die Welt nach solchen Erklärungen funktionieren muss. Wir halten es auch für notwendig, dies zu erwähnen, weil einige Leute in KI-Labors ausdrücklich sagen, dass ein "race to the bottom" unvermeidlich ist, also können sie genauso gut Öl ins Feuer gießen und selbst Spaß haben.

Nachdem Elon Musk zuvor gewarnt hatte, dass KI "weitaus gefährlicher als Atomwaffen" sei, beschloss er, ein KI-Unternehmen zu gründen und selbst in den Wettlauf einzusteigen. Im Juni 2025 erklärte er:

Ein Teil dessen, wogegen ich gekämpft habe und was mich ein wenig gebremst hat, ist, dass ich Terminator nicht Wirklichkeit werden lassen will. Bis vor wenigen Jahren habe ich mich mit KI und humanoider Robotik zurückgehalten.

Dann kam ich zu der Erkenntnis, dass es passiert, ob ich es mache oder nicht. Man kann also entweder Zuschauer oder Teilnehmer sein. Ich bin lieber Teilnehmer.

Und:

Und wird das gut oder schlecht für die Menschheit sein? Ähm, ich denke, es wird gut sein? Höchstwahrscheinlich wird es gut sein? Aber ich habe mich irgendwie damit abgefunden, dass ich, selbst wenn es nicht gut sein sollte, zumindest gerne am Leben wäre, um es mitzuerleben.

Das ist also eindeutig ein Teil der Geschichte.

Aber wir glauben nicht, dass dies der wichtigste Faktor ist, der das Verhalten der meisten Labore erklärt. Wir glauben nicht, dass dies das Einzige ist, was bei Musk vor sich geht, und wir glauben nicht, dass dies repräsentativ für alle Tech-CEOs oder Wissenschaftler ist, die sich auf den Abgrund zubewegen. Menschen sind etwas komplizierter als das.

Die Banalität der Selbstzerstörung

Was ist dann der Hauptgrund für dieses Verhalten? Wie können Ingenieure eine gefährliche Technologie verfolgen, die sogar zu ihrem eigenen Tod führen könnte?

Die einfache Tatsache ist, dass die Geschichte zeigt, dass es keineswegs ungewöhnlich ist, dass verrückte Wissenschaftler sich versehentlich umbringen.

Max Valier war ein österreichischer Raketenpionier, der bis 1929 ein funktionierendes Raketenauto, einen Raketenzug und ein Raketenflugzeug erfand und damit die Aufmerksamkeit der Welt auf sich zog. Er schrieb über die Erforschung des Mondes und des Mars und hielt Hunderte von Vorträgen und Vorführungen vor begeistertem Publikum. Eines seiner experimentellen Raketentriebwerke explodierte 1930 und tötete ihn. Sein Lehrling entwickelte bessere Sicherheitsvorkehrungen.

Ronald Fisher war ein renommierter und bedeutender Statistiker, einer der Begründer der modernen Statistik. Seine Erkenntnisse wurden in den 1960er Jahren vor dem Kongress verwendet, um zu argumentieren, dass die Beweise nicht unbedingt zeigten, dass Zigaretten Lungenkrebs verursachen, da Korrelation nicht gleichbedeutend mit Kausalität sei, denn es könnte immer ein Gen geben, das Menschen sowohl den Geschmack von Tabak mögen lässt als auch Lungenkrebs verursacht.

Wusste Fisher, dass seine Statistiken in gewisser Weise Unsinn waren? Vielleicht. Aber Fisher war selbst Raucher. Er starb an Darmkrebs, an dem Langzeitraucher 39 Prozent häufiger erkranken als Nichtraucher. Wurde Fisher durch seine eigenen Fehler getötet? Wir wissen nur, dass die statistische Wahrscheinlichkeit dafür recht hoch ist, was fast schon passend erscheint.

Isaac Newton, der brillante Wissenschaftler, der die Gesetze der Bewegung und der Schwerkraft entwickelte und viele der frühen Grundlagen für die Wissenschaft selbst legte, verbrachte Jahrzehnte seines Lebens mit fruchtlosen alchemistischen Forschungen und wurde durch Quecksilbervergiftung krank und teilweise wahnsinnig.

Und der arme Thomas Midgley Jr., der in der Parabel zu Kapitel 12 erwähnt wird, hat sich mit demselben Blei, von dem er behauptete, es sei sicher, sicherlich eine erhebliche Bleivergiftung zugezogen. Wie Sie sehen, ist es gar nicht so selten, dass begeisterte Ingenieure sich durch ihre eigenen Erfindungen Schaden zufügen, sei es durch Leichtsinn, durch Wahnvorstellungen oder durch beides.

Die Apokalypse mit einem Achselzucken abtun

Fisher, Newton und Midgley gaben sich der Illusion hin, dass etwas Gefährliches sicher sei. Das ist ein ganz normaler Weg für Wissenschaftler, am Ende etwas Selbstzerstörerisches zu tun. Leider ist die Geschichte mit den KI-Labors nicht ganz so einfach.

Nicht alle CEOs von KI-Unternehmen leugnen, dass eine KI, die intelligenter ist als der Mensch, eine Bedrohung darstellt. Viele erkennen die Gefahr ausdrücklich an und sprechen davon, sich damit abzufinden. Führungskräfte vieler bahnbrechender KI-Labore haben öffentlich erklärt, dass die von ihnen entwickelte Technologie eine erhebliche Chance hat, jeden lebenden Menschen zu töten.

Kurz vor der Mitbegründung von OpenAI schrieb Sam Altman: "Die Entwicklung übermenschlicher maschineller Intelligenz ist wahrscheinlich die größte Bedrohung für das Fortbestehen der Menschheit."

Ilya Sutskever, der kürzlich nach seinem Ausscheiden bei OpenAI das Unternehmen "Safe Superintelligence Inc." gegründet hat, sagte in einem Interview mit dem Guardian:

Die Überzeugungen und Wünsche der ersten AGIs werden extrem wichtig sein. Daher ist es wichtig, sie richtig zu programmieren. Ich denke, wenn dies nicht geschieht, begünstigt die Natur der Evolution, der natürlichen Selektion, diejenigen Systeme, die ihr eigenes Überleben über alles andere stellen. Es ist nicht so, dass sie Menschen aktiv hassen und ihnen Schaden zufügen wollen. Aber sie werden zu mächtig sein.

Shane Legg, Mitbegründer und Wissenschaftler von Google DeepMind, sagte in einem Interview, dass die Wahrscheinlichkeit einer Auslöschung der Menschheit "innerhalb eines Jahres nach der Entwicklung einer KI auf menschlichem Niveau" bei "vielleicht 5 %, vielleicht 50 %" liege.

Die Maßnahmen der Labore scheinen jedoch in keinem Einklang mit diesen extrem klingenden Aussagen zu stehen.

In einigen Fällen haben Wissenschaftler und CEOs ausdrücklich erklärt, dass die Schaffung von KI eine moralische Verpflichtung von so hoher Bedeutung sei, dass es völlig akzeptabel sei, die Menschheit als Nebeneffekt auszulöschen. Google-Mitbegründer Larry Page hatte einen Streit mit Elon Musk darüber, ob das Aussterben der Menschheit ein akzeptabler Preis für die Arbeit im Bereich der KI sei:

Die Menschen würden sich letztendlich mit künstlich intelligenten Maschinen verbinden, sagte [Larry Page]. Eines Tages würde es viele Arten von Intelligenz geben, die um Ressourcen konkurrieren würden, und die beste würde gewinnen.

Wenn das passiert, sagte Musk, seien wir verloren. Die Maschinen würden die Menschheit vernichten.

Mit frustrierter Stimme beharrte Page darauf, dass seine Utopie verfolgt werden sollte. Schließlich bezeichnete er Musk als "Speziesisten", also als jemanden, der Menschen gegenüber den digitalen Lebensformen der Zukunft bevorzugt.

Und Richard Sutton, ein Pionier des verstärkenden Lernens in der KI, sagte:

Was, wenn alles scheitert? Die KIs kooperieren nicht mit uns, sondern übernehmen die Macht und töten uns alle. […] Ich möchte Sie bitten, einen Moment darüber nachzudenken. Ich meine, ist das so schlimm? Ist es so schlimm, dass Menschen nicht die endgültige Form intelligenten Lebens im Universum sind? Wissen Sie, es gab viele Vorgänger von uns, denen wir nachfolgten. Und es ist wirklich ziemlich arrogant zu glauben, dass unsere Form die Form sein sollte, die für immer weiterlebt.^*

Noch häufiger sind jedoch Wissenschaftler und CEOs, die es zwar nicht für gut halten, wenn KI die Menschheit vernichtet, dies aber als etwas Unbedeutendes betrachten, als etwas, das keine unglaubliche Notlage darstellt, dass KI diese außergewöhnliche Bedrohung darstellt.

In einem kürzlich geführten Interview äußerte sich Dario Amodei, CEO von Anthropic, wie folgt:

Die Wahrscheinlichkeit, dass etwas auf der Ebene der menschlichen Zivilisation katastrophal schiefgeht, liegt meiner Meinung nach zwischen 10 und 25 Prozent. […] Das bedeutet, dass die Wahrscheinlichkeit, dass diese Technologie entwickelt wird und alles gut geht, bei 75 bis 90 Prozent liegt!

Dies erscheint uns als ein radikaler Fall von Scope Neglect, mit allen Merkmalen einer dysfunktionalen Ingenieurskultur. Wir können diese Denkweise beispielsweise mit den Standards vergleichen, an die sich Bauingenieure halten.

Brückenbauingenieure streben in der Regel danach, Brücken so zu bauen, dass die Wahrscheinlichkeit eines schwerwiegenden strukturellen Versagens über einen Zeitraum von fünfzig Jahren weniger als 1 zu 100.000 beträgt. Ingenieure in typischen ausgereiften, gesunden technischen Disziplinen sehen es als ihre Verantwortung an, das Risiko auf einem außergewöhnlich niedrigen Niveau zu halten.

Wenn die Wahrscheinlichkeit, dass eine Brücke einen einzigen Menschen tötet, auf 10 bis 25 Prozent geschätzt würde, würde jeder vernünftige Bauingenieur auf der Welt dies als inakzeptabel betrachten, eher als Mord denn als normale Ingenieurspraxis. Die Regierungen würden die Brücke sofort für den Verkehr sperren.

KI-Forscher hingegen sind es gewohnt, sich am Wasserspender zu versammeln und "p(doom)"-Zahlen auszutauschen, also ihre subjektive Einschätzung, wie wahrscheinlich es ist, dass KI eine Katastrophe verursacht, die so schwerwiegend ist wie die Auslöschung der Menschheit. Diese Wahrscheinlichkeiten liegen in der Regel im zweistelligen Bereich. Der ehemalige Leiter des Superintelligenz-Alignment-Teams von OpenAI sagte beispielsweise, dass sein "p(doom)" im Bereich "mehr als 10 Prozent und weniger als 90 Prozent" liegt.

Letztendlich sind diese Zahlen nur Vermutungen der Forscher. Vielleicht sind sie Unsinn, vielleicht auch nicht. Unabhängig davon ist es bemerkenswert, wie normal es in der KI-Branche ist, davon auszugehen, dass die eigene Arbeit eine erhebliche Wahrscheinlichkeit birgt, den Tod einer enormen Anzahl von Menschen zu verursachen.^†

Die Vorstellung, solche Wahrscheinlichkeiten auf das Überleben der gesamten Menschheit anzuwenden und die Arbeiten trotzdem fortzusetzen, wäre für die meisten Bauingenieure wirklich schwer zu begreifen. Die Situation ist so extrem, dass wir viele Menschen getroffen haben, die bezweifeln, dass diese Wissenschaftler und CEOs ihre Risikobewertungen ernst meinen. Die Argumente in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würdedeuten jedoch darauf hin, dass die CEOs der KI-Unternehmen die Gefahr eher unterschätzen.^‡

Die Forscher dieser Unternehmen sind an Risikostufen gewöhnt, die nach den Maßstäben eines Brückenbauingenieurs schockierend absurd wären. Es ist sonst schwer zu verstehen, wie ein CEO wie Amodei lächeln und den Zuschauern ruhig versichern kann, dass er die Wahrscheinlichkeit, dass die KI-Forschung Katastrophen auf zivilisatorischer Ebene verursacht, auf "zwischen 10 und 25 Prozent" schätzt.

Leben im Traumland

Ein Teil des Puzzles scheint, wie oben erläutert, eine kulturelle Normalisierung extremer Risiken zu sein.

Ein weiterer Teil ist eine tödliche Mischung aus Optimismusverzerrung und der Vorliebe für positive, hoffnungsvolle Ideen, eine Art von Irrtum, den Kognitionspsychologen als "Planungsirrtum" bezeichnen.

Es ist nicht allzu überraschend, dass der CEO eines mutigen neuen Start-ups die Erfolgschancen seines Unternehmens überschätzt. Solche Menschen sind eher bereit, sich überhaupt erst einmal an ein Problem heranzuwagen.

Der Unterschied bei der KI besteht nicht darin, dass besonders leichtsinnige Menschen das Ruder in der Hand haben. Vielmehr sind die Folgen eines Scheiterns viel gravierender als sonst.

Es ist allgemein bekannt, dass man einem Bauunternehmer nicht glauben kann, wenn er sagt, dass die Wahrscheinlichkeit, dass sein riesiges Brückenbauprojekt hinter dem Zeitplan zurückbleibt oder Kostenüberschreitungen auftreten, nur 20 Prozent beträgt. So funktionieren komplexe Projekte im wirklichen Leben nicht. Es wird Hindernisse und Überraschungen geben.

Vielleicht könnte Ihnen ein erfahrener Bauunternehmer, der sich auf jahrelange Erfahrung und Statistiken stützt, sagen, dass bei jedem fünften seiner Brückenprojekte Kostenüberschreitungen auftreten, und Sie könnten ihm vielleicht vertrauen. Stellen Sie sich stattdessen vor, ein Brückenbauunternehmer würde Ihnen zur Beruhigung sagen: "Wir sehen keinen Grund, warum dieses Projekt schwierig werden könnte. Es ist zwar unser erstes Projekt, aber wir glauben, dass alles gut laufen wird. All diese Ingenieure, die Ihnen ernsthafte Briefe über spezifische Probleme beim Bau der Stützmauern und beim Aushub in diesem bestimmten Bereich schicken, denn das sind nur negative Pessimisten, die Sie ignorieren sollten. Sicher, es besteht immer die Möglichkeit, dass ein Problem auftritt, aber wir sind realistische und bescheidene Brückenbauer, die zum ersten Mal ein solches Projekt durchführen. Wir denken, dass die Wahrscheinlichkeit, dass dieses Projekt auf Hindernisse und Überraschungen stößt, im schlimmsten Fall bei etwa 20 Prozent liegt."

In einem solchen Fall klingen Zahlen wie "20 Prozent" für uns wie etwas, das jemand sagt, wenn er nicht leugnen kann, dass ein gewisses Risiko besteht, aber die Leute nicht beunruhigen will. Sie klingen nicht wie Schätzungen, die auf der Realität basieren.

Das Alignment einer Superintelligenz beim ersten Versuch scheint viel komplizierter zu sein als der Bau einer Brücke, etwas, das die Menschheit schon tausende Male zuvor getan hat.

Selbst in einem ausgereiften und technisch fundierten Bereich wie dem Brückenbau wären solche Äußerungen aus KI-Labors ein schlechtes Zeichen dafür, dass die Schätzungen von "20 Prozent Wahrscheinlichkeit, dass es schiefgeht" viel zu optimistisch sind. In einem Bereich ohne diese Grundlage, in dem spannende Ideen frei zirkulieren können, ohne jemals mit der harten Realität in Berührung zu kommen, sind solche Äußerungen ein Zeichen dafür, dass niemand auch nur annähernd erfolgreich ist.

Und solche Äußerungen sind in der KI unter den Forschern und Führungskräften, die überhaupt bereit sind, das Thema anzusprechen, was passiert, wenn sie mit ihren Bemühungen Erfolg haben, absolut allgegenwärtig.

Führungskräfte von KI-Unternehmen können keinen auch nur annähernd detaillierten Plan für den Erfolg vorlegen, der die wichtigsten technischen Hürden und Schwierigkeiten berücksichtigt, die in diesem Bereich seit über einem Jahrzehnt bekannt sind.

Stattdessen neigen Unternehmenschefs dazu, sich von hochfliegenden Ideen blenden zu lassen, warum das Problem für sie überhaupt kein Problem darstellen wird. Eine aufregende Vision, die alle technischen Probleme trivialisieren soll, wie die Visionen, die wir in Kapitel 11 diskutiert haben.

Auch dies ist ein häufiges Muster unter Ingenieuren. Unbegründeter Optimismus in Bezug auf eine Lieblingslösung (die in Wirklichkeit nicht funktionieren wird) ist etwas, das man ständig beobachtet, selbst unter Menschen, die ansonsten Genies sind.

Linus Pauling, einer der Begründer der Molekularbiologie und Nobelpreisträger in zwei verschiedenen Bereichen, befürwortete die Megadosierung von Vitamin C als Heilmittel für alles von Krebs bis hin zu Herzerkrankungen. Sein Beharren auf diesem Ansatz trotz gegenteiliger Beweise führte zur Entstehung einer ganzen Industrie für Scheinmedikamente.

Der Elektrounternehmer Thomas Edison, der die Wechselstromverkabelung seines Konkurrenten zugunsten seiner eigenen Gleichstromkonstruktionen diskreditieren wollte, hielt es für eine gute PR-Maßnahme, einen Ingenieur dafür zu bezahlen, Hunde durch Stromschlag zu töten. Diese Taktik machte ihn, wenig überraschend, in der Öffentlichkeit nicht gerade beliebt, doch Edison setzte diese Praxis trotz einer Flut von Empörung fort.

Napoleon Bonaparte, nach allgemeiner Auffassung ein militärisches Genie, beschleunigte seinen eigenen Untergang durch eine katastrophale Invasion Russlands. Sein Fehler lag nicht in mangelnder Vorbereitung, denn er hatte sich mit der Geografie der Region vertraut gemacht und fast zwei Jahre lang die Logistik der Kampagne geplant. Seine Strategie sah vor, die Russen zu einer entscheidenden Schlacht zu zwingen, bevor seine Vorräte für dreißig Tage aufgebraucht waren. Die Russen kooperierten jedoch nicht, die Offensive kam zum Stillstand und Napoleon verlor eine halbe Million Soldaten sowie den Großteil seiner Kavallerie und Artillerie.

Die Geschichte ist voll von klugen, mächtigen Menschen, die unvernünftige Dinge tun, bis sie an den Rand einer Katastrophe geraten oder diese sogar überschreiten. Schön klingende Ideen können unwiderstehlich sein, wenn sie schwer zu überprüfen sind, oder wenn Sie einen Weg gefunden haben, sich selbst davon zu überzeugen, dass Sie die Testergebnisse vor Ihren Augen ignorieren können.

Die ASI spüren

Zusammenfassend lässt sich sagen: Menschen verfallen oft in leeren Optimismus darüber, wie einfach ein Problem zu lösen sein wird; Menschen können sich an schreckliche Risiken gewöhnen; und Menschen können sich in schön klingende, aber hoffnungslose Ideen verlieben, insbesondere wenn sie in einem jungen und unreifen Bereich arbeiten.

Das reicht völlig aus, um die rücksichtslose Vorgehensweise zu erklären. Aber aufgrund unserer Erfahrung würden wir vermuten, dass das noch nicht die ganze Geschichte ist.

Ein weiteres plausibles Puzzleteil ist, dass die Ingenieure und CEOs nicht wirklich an das glauben, was sie sagen. Nicht auf einer tiefen Ebene. Sie mögen die Argumente verstehen und sich abstrakt davon überzeugen lassen, aber das ist nicht dasselbe wie den Glauben zu spüren.

Was Menschen in der Öffentlichkeit laut sagen, was sie sich selbst in ihren privaten Gedanken sagen und was ihr Verstand tatsächlich erwartet, dass ihnen widerfahren wird, kann oft auseinanderklaffen. Diese drei verschiedenen Glaubensstränge müssen nicht alle übereinstimmen.

Im Jahr 2015, als einige der großen Akteure der heutigen Katastrophe gerade erst anfingen, konnten talentierte Führungskräfte vermutlich Aufmerksamkeit und einige zehn Millionen Dollar an Finanzmitteln gewinnen, indem sie gegenüber Geldgebern, die vielleicht aufrichtiger daran glaubten, dass KI eine Frage von weltweiter Bedeutung sei, behaupteten, dass KI eine Frage von weltweiter Bedeutung sei.^§

Wir vermuten jedoch, dass viele der Menschen, die solche Dinge sagten, kein bestimmtes detailliertes Modell vom Ende der Welt verinnerlicht und antizipiert hatten. Sie konnten sich wahrscheinlich nicht wirklich vorstellen, dass sie selbst die Welt durch ihr Handeln oder einen Fehler in den Ruin treiben könnten. Sie stellten sich nicht vor, wie jeder Mensch auf dem Planeten seinen letzten Atemzug tat. Sie verspürten nicht die Gefühle, die normalerweise mit dem Tod von zwei Milliarden Kindern einhergehen würden.

So etwas war ihnen noch nie passiert, und es war auch noch niemandem passiert, den sie kannten.

Die Welt hatte noch nicht einmal ChatGPT gesehen, geschweige denn eine Superintelligenz. Es war nichts, woran ihre Freunde, Familien und Nachbarn glaubten, nichts, woran sie glaubten, so wie man daran glaubt, vor dem Überqueren einer Straße nach dem Verkehr zu schauen.

Es war nur eine aufregend klingende Geschichte, zu groß, um sie richtig zu begreifen.

Und doch war es auch die Art von Sache, bei der man viel Geld und Respekt bekommen konnte, wenn man sie laut aussprach.

Wie Yudkowsky (2006) feststellt:

Zusätzlich zu den üblichen Biases habe ich persönlich etwas beobachtet, was wie schädliche Denkweisen aussieht, die spezifisch für existenzielle Risiken sind. Die Spanische Grippe von 1918 tötete 25 bis 50 Millionen Menschen. Der Zweite Weltkrieg kostete 60 Millionen Menschen das Leben. 10⁷  ist die Größenordnung der größten Katastrophen in der geschriebenen Geschichte der Menschheit. Wesentlich größere Zahlen, wie beispielsweise 500 Millionen Tote, und insbesondere qualitativ andere Szenarien, wie das Aussterben der gesamten Menschheit, scheinen eine andere Denkweise auszulösen, sie führen zu einem "separaten Magisterium". Menschen, die niemals daran denken würden, einem Kind etwas anzutun, hören von einem existenziellen Risiko und sagen: "Nun, vielleicht verdient die Menschheit es nicht wirklich, zu überleben."

In der Heuristik und den Biases gibt es ein Sprichwort, dass Menschen nicht Ereignisse bewerten, sondern Beschreibungen von Ereignissen, was als nicht-extensionales Denken bezeichnet wird. Die Ausdehnung des Aussterbens der Menschheit umfasst den Tod von Ihnen selbst, Ihren Freunden, Ihrer Familie, Ihren Lieben, Ihrer Stadt, Ihrem Land, Ihren politischen Mitstreitern. Doch Menschen, die sich über einen Vorschlag, Großbritannien von der Landkarte zu tilgen, jedes Mitglied der Demokratischen Partei in den USA zu töten, die Stadt Paris in Schutt und Asche zu legen, zutiefst empören würden und die noch größere Entsetzen empfinden würden, wenn sie vom Arzt erfahren würden, dass ihr Kind Krebs hat, diskutieren völlig gelassen über das Aussterben der Menschheit.

Was könnte jemand tatsächlich denken, wenn er, bevor er das später weltweit führende KI-Unternehmen gründet, sagt: "KI wird höchstwahrscheinlich zum Ende der Welt führen, aber in der Zwischenzeit wird es großartige Unternehmen geben"? Denken sie wirklich daran, dass ihre Freunde tot sein werden, dass die Kinder ihrer Freunde tot sein werden, dass sie selbst tot sein werden, dass die gesamte Menschheitsgeschichte und alle Museen zu Staub zerfallen werden? Denken sie daran, dass dies wirklich passieren wird, dass alles so alltäglich und tragisch sein wird wie der Tod eines Verwandten, den sie tatsächlich an Krebs sterben sahen, nur dass es diesmal alle betrifft?

Wir vermuten nicht.

Für uns scheint das nicht die plausibelste Vermutung über den inneren psychologischen Zustand von jemandem zu sein, der einen solchen Satz äußert.

Es gibt darin das, was Bryan Caplan als "fehlende Stimmung" bezeichnet hat. Es gibt keine Trauer. Es gibt keinen Schrecken. Es gibt keinen verzweifelten Drang, etwas dagegen zu unternehmen, in der Aussage, dass KI höchstwahrscheinlich zum Ende der Welt führen wird, aber in der Zwischenzeit wird es großartige Unternehmen geben.

Zumindest für einige dieser CEOs und Forscher lautet unsere Vermutung eher: Sie haben eine Reihe von Argumenten gehört, dass ASI möglicherweise eine Gefahr darstellt, und sie befürchten, dass sie vor zumindest einigen ihrer Freunde dumm dastehen würden, wenn sie das völlig ignorieren würden. Wenn sie stattdessen sagen, dass KI die Welt zerstören wird, werden sie als Menschen angesehen, die KI als gefährlich und wichtig betrachten, und wirken daher in bestimmten Kreisen visionär. Indem sie einen Bonmot hinzufügen wie "In der Zwischenzeit wird es großartige Unternehmen geben", vermitteln sie die Botschaft, wie hip und unbesorgt sie angesichts der Gefahr sind.

Das ist nicht die Art von Aussage, die man macht, wenn man die Worte aus dem eigenen Mund hört und ihnen glaubt.

Was für ein Mensch muss man dafür sein?

Ein weiterer Aspekt der Geschichte ist vielleicht, dass die Leiter der führenden KI-Labore Menschen sind, die sich selbst davon überzeugen konnten, dass die Entwicklung einer Superintelligenz in Ordnung ist, obwohl sie (in fast allen Fällen) die Argumente kennen, die dagegen sprechen. (Wir wissen das, weil wir zuvor mit vielen von ihnen gesprochen haben.)

Um zu verstehen, warum jemand eine bestimmte Option wählt, ist es auch hilfreich zu verstehen, welche Alternativen es gab, um zu verstehen, aus welchen Optionen er wählen konnte.

Was wäre passiert, wenn jemand im Jahr 2015 tatsächlich geglaubt und dann öffentlich gesagt hätte, dass er zu Recht davon ausgeht, dass ASI die Welt zerstören wird? Was wäre, wenn die Leiter der KI-Labore statt "aber in der Zwischenzeit wird es großartige Unternehmen geben" die Stimmung gedämpft und gesagt hätten: "und das ist völlig inakzeptabel"?

Wir können Ihnen das sagen, weil wir diesen Ansatz selbst ausprobiert haben. Die Antwort lautet, dass sie auf wenig Sympathie gestoßen wären.

Niemand hatte 2015 ChatGPT gesehen. Niemand hatte gesehen, wie Computer tatsächlich anfingen zu sprechen und (nach allem Anschein) zu denken. Es war alles hypothetisch und leicht abzutun.

Heutzutage sind Superintelligenz und die Gefahr einer baldigen Auslöschung zumindest in Tech-Kreisen Mainstream-Themen. Aber wenn man 2015 ernsthaft darüber sprach, reagierten die Leute mit einem verwirrten Blick, den viele Menschen mehr fürchten als den Tod.

Es gab Menschen, die sich schon 2015 Sorgen machten, dass das Alignment der Superintelligenz tatsächlich schwierig sein könnte, so wie Raketenstarts schwierig sind. Keiner von ihnen gründete OpenAI.

In den letzten Tagen, mit dem Aufkommen von ChatGPT und anderen LLMs, haben einige Leute, darunter Eltern mit Kindern, die wollen, dass diese Kinder das Erwachsenenalter erreichen, Ingenieure dieser KI-Unternehmen gefragt, warum sie das tun. Und diese KI-Forscher haben schnell nachgedacht und geantwortet: "Oh, weil, wenn wir es nicht tun, wird China es zuerst tun! Und das wäre noch schlimmer!"

Aber das haben sie nicht gesagt, als OpenAI gegründet wurde. Und es macht wenig Sinn angesichts der Haltung, die China Mitte 2025 tatsächlich öffentlich eingenommen hat. Man könnte meinen, wenn jemand wirklich davon überzeugt wäre, dass beide Ergebnisse für die Welt schrecklich wären, würde er zumindest das Thema eines internationalen Vertrags zur Sprache bringen, um zu sehen, ob es einen anderen Weg gibt, oder um einen anderen Weg zu finden, um die Bedrohung der nationalen Sicherheit zu verhindern, der keinen Wettlauf um Selbstmord beinhaltet.

Aber die Antwort "China" trifft den richtigen Ton. Sie vermittelt das richtige Gefühl. Es ist die Art von Begründung, die ihr Handeln plausibel rechtfertigen könnte, unabhängig davon, ob es sich dabei um ihre tatsächliche Motivation handelt oder um den Grund, der sie ursprünglich dazu veranlasst hat, in diesen Bereich einzusteigen.

(Zumindest vermuten wir das.)

Die Menschen, die Superintelligenz und die damit verbundene Gefahr wirklich verstanden haben, haben einfach keine KI-Unternehmen gegründet. Diejenigen, die dies getan haben, sind diejenigen, die einen Weg gefunden haben, sich selbst davon zu überzeugen, dass alles gut werden würde.

Normale Menschen, ungewöhnliche Technologie

Wir haben die plausible Psychologie, wie wir sie sehen, dargelegt. Aber ehrlich gesagt scheint es nicht so, als wären all diese Erklärungen notwendig.

Wie könnten Menschen etwas Selbstzerstörerisches tun, das kurzfristig enorm profitabel ist, ihnen enormen Status, Aufmerksamkeit und Anerkennung verschafft, mit dem Versprechen von unermesslichem Reichtum und Macht einhergeht, ihnen aber letztendlich aus obskuren und komplizierten Gründen schaden wird, für die sie leicht eine Ausrede finden könnten, um nicht daran zu glauben? Das ist eine historisch seltsame Frage. Ein solches Verhalten taucht in Geschichtsbüchern immer wieder auf.

Letztendlich spielt es keine Rolle, wie die Führungskräfte oder Forscher im Bereich der KI ihre Handlungen rechtfertigen, und es ist nicht notwendig zu verstehen, welche genauen Wendungen jeder von ihnen genommen hat, um zu seinen aktuellen Überzeugungen zu gelangen. Es ist nicht ungewöhnlich, dass Menschen mit Reichtum oder Ehrgeiz rücksichtsloses Verhalten an den Tag legen, und es ist nicht ungewöhnlich, dass Untergebene Befehle befolgen. Die Schäden liegen in der Zukunft verborgen, die abstrakt und leicht zu ignorieren ist.

All dies ist normales menschliches Verhalten. Wenn es so weitergeht, wird es so enden, wie solche Dinge oft enden, aber dieses Mal wird niemand übrig bleiben, um daraus zu lernen und es erneut zu versuchen.

Notes