Die Zeit für politische Spielchen ist vorbei.

Einige haben argumentiert, dass Menschen, die sich Sorgen um den Wettlauf um den Aufbau einer Superintelligenz machen, ihre Ansichten verbergen und stattdessen über den durch KI verursachten Verlust von Arbeitsplätzen, das Problem von ChatGPT-fähigen Bioterroristen oder den Wasserverbrauch für die Kühlung der Computer in Rechenzentren sprechen sollten.^* Wir halten diesen Ansatz für zu clever und glauben, dass er wahrscheinlich nach hinten losgehen wird. Tatsächlich haben wir bereits mehrfach erlebt, dass er nach hinten losgegangen ist.

Die vier Hauptprobleme, die wir bei diesem Ansatz sehen, sind:

• Er ist nicht ehrlich, und Menschen sind gut darin, Unehrlichkeit und Spielchen zu erkennen.

  Selbst wenn Sie ein ungewöhnlich guter Lügner sind, werden Argumente zu Themen, die Sie für zweitrangig halten, wahrscheinlich in vielerlei Hinsicht "seltsam" wirken. Sie werden nicht ganz sinnvoll erscheinen, aus denselben Gründen, aus denen Sie diese Themen für zweitrangig halten. Je mehr Sie Ihre bereinigten Argumente teilen, desto wahrscheinlicher ist es, dass die Menschen zu dem Schluss kommen, dass Sie entweder verwirrt sind oder nicht ganz ehrlich sind, was Ihre tatsächliche Meinung angeht. Und in beiden Fällen werden Sie nicht als vielversprechender Verbündeter oder zuverlässige Informationsquelle wahrgenommen werden.

• Das ist wahrscheinlich unnötig. Unserer Erfahrung nach werden ehrliche und direkte Gespräche über Superintelligenz viel besser aufgenommen als Versuche, das Thema auf andere Fragen wie KI-Deepfakes zu lenken. Seit Mitte 2023 habe ich (Soares) immer häufiger mit verschiedenen gewählten Amtsträgern gesprochen. Ich habe an Abendessen teilgenommen, bei denen Menschen, die "besorgt über KI" sind, die Möglichkeit von KI-unterstützten Terroristen angesprochen haben, und ein amtierender gewählter Politiker antwortete, dass seine Befürchtungen viel dringlicher und gravierender seien, da er sich Sorgen über sich selbst verbessernde KIs mache, die zu einer Superintelligenz führen könnten, die uns vollständig auslöschen würde und die innerhalb von drei Jahren geschaffen werden könnte.

  Bis hin zu gewählten Amtsträgern im US-Kongress sind viele Menschen offen dafür, dieses Thema ernst zu nehmen und nach Wegen zu suchen, es anzugehen.^† Dieses Thema mag nischiger und kontroverser erscheinen, als es tatsächlich ist, da es zum Zeitpunkt der Veröffentlichung dieses Buches noch keine angemessene nationale oder internationale Debatte darüber gegeben hat. Aber wir haben viele offene Gespräche in Washington zu diesem Thema geführt, die ermutigend gut verlaufen sind.^‡

• Die Reaktion auf diese anderen Probleme löst jedoch nicht das Problem der Superintelligenz. KI-Unternehmen liefern sich einen Wettlauf um die Entwicklung von Superintelligenz. Wenn sie ihr Ziel erreichen, sterben alle. Die sinnvollen Lösungen für dieses Problem unterscheiden sich erheblich von den Lösungen, die für den Umgang mit KI-generierten Deepfakes oder sogar mit KI-gestütztem Bioterrorismus sinnvoll sind.

  Es gibt zwar Überschneidungen, und wir können möglicherweise mehr Unterstützung für den Umgang mit KI gewinnen, die intelligenter ist als der Mensch, indem wir die Überschneidungen zwischen den verschiedenen Themen hervorheben. Es ist jedoch äußerst unwahrscheinlich, dass die Welt zu einer angemessenen Antwort auf ein so kompliziertes Thema wie Superintelligenz gelangt, ohne sich an dem eigentlichen Problem zu orientieren.

• Die Zeit ist vermutlich knapp. Es ist unwahrscheinlich, dass wir Zeit haben, die Menschen über viele Jahre hinweg langsam an dieses Risiko heranzuführen, indem wir mit einfacheren und vertrauteren Themen beginnen und uns dann Schritt für Schritt bis zur Superintelligenz hocharbeiten. Wenn wir keine Anstrengungen unternehmen, um schnell auf dieses Problem zu reagieren, ist es plausibel, dass wir überhaupt keine Chance mehr haben werden, darauf zu reagieren.

Das soll nicht heißen, dass Arbeitsplatzverlust, Bioterrorismus usw. keine echten Probleme sind. Es ist nur so, dass die Gesellschaft dem rücksichtslosen Selbstmordwettlauf nicht wirklich Einhalt gebieten wird, wenn sie nicht weiß, dass es einen rücksichtslosen Selbstmordwettlauf gibt.

Wir haben jahrelang beobachtet, wie Freunde und Bekannte aus der Politik sich mit Problemen wie ChatGPT-fähigen Bioterroristen beschäftigt haben. Soweit wir das beurteilen können, scheint dies zu nichts geführt zu haben, was die Schaffung maschineller Superintelligenz tatsächlich verhindern würde.

Wir sind durch und durch Nerds und haben uns mit dem Schreiben eines populären Buches weit aus unserer Komfortzone herausgewagt. Wir behaupten nicht, Experten für effektive Politik zu sein. Aber es scheint uns, dass die Menschheit die Grenze erreicht hat, bis zu der sie Probleme mit Diskursen lösen kann, die aus sorgfältig formulierten, strategisch ausgewählten, nicht "alarmistischen" Argumenten bestehen.

Irgendwann müssen wir als Menschen anfangen, über die drohende Gefahr zu sprechen. Die Politik muss sich an den tatsächlichen Gegebenheiten orientieren und nicht an scheinbar sicheren Botschaften.

Die Leiter von KI-Labors sagen, dass wir in den nächsten ein bis vier Jahren KI-Forscher sehen könnten, die Menschen übertreffen. Wir hoffen sehr, dass sie sich irren, aber trotz all unserer Fachkenntnisse wissen wir nicht, dass sie sich irren. Die politischen Entscheidungsträger wissen nicht, dass sie sich irren. Die Menschheit reagiert einfach nicht angemessen auf die Herausforderung, vor der wir stehen. Wenn jetzt nicht Alarm geschlagen wird, wann dann?

Und: Seit wir den obigen Absatz zum ersten Mal verfasst haben, scheint sich die von uns befürwortete Strategie immer mehr auszuzahlen, wie Sie unserer Liste der Äußerungen von Politikern zum Thema Superintelligenz im Sommer 2025 entnehmen können. Die Zeit scheint reif für eine echte Diskussion über die drohende Gefahr durch künstliche Superintelligenz.