Umsetzbare Pläne erfordern, dass man KI-Unternehmen "Nein" sagt
Wir raten Personen mit Einfluss in Regierungen davon ab, einen Plan zu entwickeln, der Verhandlungen mit KI-Unternehmen vorsieht.
Wenn Sie neu in diesem Thema sind und die Labore oder ihre Argumente selbst überprüfen möchten, empfehlen wir Ihnen, einige ihrer öffentlichen Blogbeiträge zu lesen und zu sehen, ob Sie diese überzeugend finden.*
Wenn Sie jedoch daran arbeiten, Lösungen für die in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würdediskutierten Probleme zu finden, und Sie einen Plan haben, der erfordert, dass Sam Altman, CEO von OpenAI, "Ja" dazu sagt, befürchten wir, dass Sie von vornherein das Falsche versuchen.
Die richtigen Pläne sind wahrscheinlich diejenigen, gegen die die Chefs der KI-Unternehmen lautstark protestieren werden. Außerdem hat Sam Altman nicht die Macht, die Welt zu retten: Wenn er morgen versuchen würde, OpenAI zu schließen, würden OpenAI und Microsoft sich dagegen wehren und ihn möglicherweise durch jemanden ersetzen, der es vorzieht, den Geldfluss aufrechtzuerhalten.
Wenn OpenAI tatsächlich geschlossen würde, würden Anthropic, Google DeepMind, Meta, DeepSeek oder ein anderes Unternehmen oder eine andere Nation an seiner Stelle die Welt zerstören. Sam Altman könnte die Lage noch verschlimmern, wenn er es versucht, aber er hat kaum Macht, die Lage zu verbessern.
Wir würden uns gerne irren, aber das Gesamtbild, das wir sowohl aus öffentlichen Berichten als auch aus privaten Interaktionen gewonnen haben, ist, dass die Führungskräfte der führenden KI-Unternehmen (Stand 2025) nicht wie regelkonforme oder ehrliche Menschen wirken, mit denen es möglich wäre, Vereinbarungen zu treffen.†
Unserer Meinung nach muss jetzt weltweit koordiniert der Wettlauf um Superintelligenz gestoppt werden. Dazu benötigen die politischen Entscheidungsträger wahrscheinlich Input von Experten für die Herstellung von KI-Chips, den Bau von Rechenzentren und die Überwachung der Compliance ausländischer Akteure. Experten für die Entwicklung immer leistungsfähigerer KIs? Sie sind sicherlich kompetente Manager, aber sie sollten kein Vetorecht über Maßnahmen haben, die darauf abzielen, ihre eigene Arbeit zu beenden.
Wenn die KI-Unternehmen aus irgendeinem Grund ein Mitspracherecht bei den nächsten Schritten erhalten, klingt das für uns nach einem Fehler. Ist der Plan, den die Erde aufstellt, um nicht durch Superintelligenz unterzugehen, ein Plan, der scheitert, wenn Sam Altman oder der Chef von Google oder die Menschen hinter DeepSeek "Nein" sagen? Dann ist es überhaupt kein Plan.
Wenn KI-Unternehmen die Autorität behalten, die Welt zu zerstören, wenn diese Entscheidung irgendwie immer noch in ihren Händen liegt, dann geht die Welt vollautomatisch unter. Der Plan muss einen Schritt enthalten, der KI-Unternehmen ihre uneingeschränkte Macht nimmt, Weltuntergangsmaschinen zu bauen.
* Unserer Erfahrung nach neigen diese Schriften dazu, viel Wirbel um wenig Substanz zu machen und wechseln oft stillschweigend zwischen widersprüchlichen Behauptungen, je nachdem, was gerade in Mode oder politisch opportun ist. Wir haben nicht den Eindruck, dass es sich dabei um ehrliche und transparente Beschreibungen selbst der tatsächlichen Sichtweisen der Laborleiter handelt, was sie im Vergleich zum Lesen der abweichenden Meinungen anderer weniger nützlich macht. Aber das ist unsere eigene Meinung; wenn Sie sich mit diesem Thema neu beschäftigen und selbst beurteilen möchten, ob andere Parteien gute Gegenargumente haben, die wir hier nicht angesprochen haben, dann sollten Sie sich nicht unbedingt auf unsere Meinung darüber verlassen, wer die besten Quellen sind.
† Wenn Sie doch die Meinung eines Laborleiters zu etwas benötigen und uns um Rat fragen, würden wir sagen, dass Demis Hassabis wahrscheinlich die am wenigsten schlechte Option ist. Unter den führenden Laborleitern, mit denen mindestens einer von uns zu tun hatte (was seit 2025 auf alle zutrifft), ist Hassabis der einzige, den wir als konsequent vertrauenswürdig in Verhandlungen erlebt haben, und er scheint weniger destruktive Entscheidungen zu treffen.
Allerdings ist dies eine Empfehlung mit geringer Zuverlässigkeit und rein relativer Natur. Absolut gesehen hat jeder, der kein Unternehmen gegründet hat, das mit hoher Wahrscheinlichkeit die Welt zerstören könnte, einen großen Glaubwürdigkeitsvorteil gegenüber den Laborleitern. Wir haben durchaus Geschichten von Leuten gehört, die sagten, sie hätten solche Angst vor Hassabis, dass sie keine andere Wahl hätten, als ihre eigenen bahnbrechenden KI-Unternehmen zu gründen, um ihm zuvorzukommen. Diese Leute wissen vielleicht etwas, was wir nicht wissen.
Unsere wichtigste Empfehlung an politische Entscheidungsträger lautet daher: Wenn Sie von der Gefahr überzeugt sind, geben Sie den Laborleitern keinen Einfluss.
Sprechen Sie mit unabhängigen Forschern, mit Wirtschaftsführern, die keine eigenen Interessen verfolgen, oder mit externen Wissenschaftlern, die in diesem Bereich nachweislich vernünftige Dinge sagen und tun. Begeben Sie sich nicht in eine Lage, in der Sie von Menschen verbrannt werden, deren Hauptmerkmal darin besteht, dass sie die Öffentlichkeit belügen und Menschen in Gefahr bringen.