KI-Experten zu Katastrophenszenarien
In einer Umfrage aus dem Jahr 2022 unter 738 Teilnehmern der akademischen KI-Konferenzen NeurIPS und ICML waren 48 Prozent der Befragten der Meinung, dass die Wahrscheinlichkeit, dass KI "extrem negative Folgen (z. B. das Aussterben der Menschheit)" haben wird, bei mindestens 10 Prozent liegt. Die Sorge, dass KI eine beispiellose Katastrophe verursachen könnte, ist in diesem Bereich weit verbreitet.
Im Folgenden haben wir Kommentare von prominenten KI-Wissenschaftlern und -Ingenieuren zu katastrophalen KI-Ergebnissen zusammengestellt. Einige dieser Wissenschaftler geben ihre "p(doom)" an, d. h. die von ihnen angenommene Wahrscheinlichkeit, dass KI zum Aussterben der Menschheit oder zu ähnlich katastrophalen Ergebnissen führt.*
Geoffrey Hinton (2024), Nobelpreisträger und Turing-Preisträger für seine bahnbrechenden Arbeiten im Bereich Deep Learning in der KI, äußerte sich zu seinen persönlichen Einschätzungen:†
Ich glaube tatsächlich, dass das Risiko [der existenziellen Bedrohung] bei über 50 Prozent liegt.
Von Yoshua Bengio (2023), Turing-Preisträger (zusammen mit Hinton und Yann LeCun) und dem meistzitierten lebenden Wissenschaftler:
Wir wissen nicht, wie viel Zeit uns bleibt, bevor es wirklich gefährlich wird. Seit einigen Wochen sage ich: "Bitte bringt mir Argumente, überzeugt mich davon, dass wir uns keine Sorgen machen müssen, denn dann wäre ich viel glücklicher." Das ist bisher noch nicht geschehen. […] Ich schätze die Wahrscheinlichkeit, dass es zu einer Katastrophe kommt, auf etwa 20 Prozent.
Von Ilya Sutskever (2023), Miterfinder von AlexNet, ehemaliger Chefwissenschaftler bei OpenAI und (zusammen mit Hinton und Bengio) einer der drei meistzitierten Wissenschaftler im Bereich KI:
Die enorme Macht der Superintelligenz könnte auch sehr gefährlich sein und zur Entmachtung der Menschheit oder sogar zum Aussterben der Menschheit führen. Auch wenn Superintelligenz derzeit noch in weiter Ferne zu liegen scheint, glauben wir, dass sie noch in diesem Jahrzehnt Realität werden könnte. […]
Derzeit haben wir keine Lösung, um eine potenziell superintelligente KI zu steuern oder zu kontrollieren und zu verhindern, dass sie außer Kontrolle gerät. Unsere derzeitigen Techniken zum Alignment von KI, wie z. B. das Reinforcement Learning From Human Feedback, beruhen auf der Fähigkeit des Menschen, KI zu überwachen. Aber Menschen werden nicht in der Lage sein, KI-Systeme, die viel intelligenter sind als wir, zuverlässig zu überwachen, sodass unsere derzeitigen Alignment-Techniken nicht auf Superintelligenz skalierbar sind. Wir brauchen neue wissenschaftliche und technische Durchbrüche.
Von Jan Leike (2023), Co-Leiter der Alignment-Forschung bei Anthropic und ehemaliger Co-Leiter des Superalignmentteams bei OpenAI:
[Interviewer: "Ich habe nicht viel Zeit damit verbracht, meine persönliche p(doom) genau zu bestimmen. Ich schätze, dass sie mehr als 10 Prozent und weniger als 90 Prozent beträgt."]
[Leike:] Das ist wahrscheinlich auch der Bereich, den ich angeben würde.
Von Paul Christiano (2023), Leiter der Abteilung für Sicherheit am U.S. AI Safety Institute (Teil des NIST) und Erfinder des Reinforcement Learning from Human Feedback (RLHF):
Wahrscheinlichkeit, dass die meisten Menschen innerhalb von 10 Jahren nach der Entwicklung einer leistungsstarken KI (die leistungsfähig genug ist, um menschliche Arbeit überflüssig zu machen) sterben: 20 % […]
Wahrscheinlichkeit, dass wir als Menschheit innerhalb von 10 Jahren nach der Entwicklung einer leistungsstarken KI unsere Zukunft irgendwie irreversibel ruiniert haben: 46 %
Von Stuart Russell (2025), Smith-Zadeh-Lehrstuhl für Ingenieurwesen an der UC Berkeley und Mitautor des führenden AI-Lehrbuchs für Studenten, Artificial Intelligence: A Modern Approach:
Das "AGI-Rennen" zwischen Unternehmen und Nationen ähnelt in gewisser Weise [dem Rennen des Kalten Krieges um den Bau größerer Atombomben], nur dass es noch schlimmer ist: Selbst die CEOs, die sich an diesem Rennen beteiligen, haben erklärt, dass der Gewinner mit hoher Wahrscheinlichkeit die Auslöschung der Menschheit verursachen wird, da wir keine Ahnung haben, wie wir Systeme kontrollieren können, die intelligenter sind als wir selbst. Mit anderen Worten: Das AGI-Rennen ist ein Rennen auf den Abgrund zu.
Von Victoria Krakovna (2023), Wissenschaftlerin bei Google DeepMind und Mitbegründerin des Future of Life Institute:
[Interviewer: "Es ist nicht sehr angenehm, darüber nachzudenken, aber wie hoch schätzen Sie die Wahrscheinlichkeit ein, dass Victoria Krakovna vor 2100 durch KI ums Leben kommt?"]
[Krakovna:] Nun, 2100 ist noch sehr weit weg, vor allem wenn man bedenkt, wie schnell sich die Technologie derzeit entwickelt. Spontan würde ich sagen, etwa 20 Prozent oder so.
Von Shane Legg (2011), Mitbegründer und leitender AGI-Wissenschaftler bei Google DeepMind:
[Interviewer: "Wie hoch schätzen Sie die Wahrscheinlichkeit negativer/extrem negativer Folgen einer schlecht entwickelten KI ein? […] Dabei bedeutet "negativ" das Aussterben der Menschheit und "extrem negativ" das Leiden der Menschheit."]
[Legg:] Innerhalb eines Jahres nach der Entwicklung einer KI auf menschlichem Niveau […] Ich weiß es nicht. Vielleicht 5 %, vielleicht 50 %. Ich glaube nicht, dass irgendjemand eine gute Schätzung dazu abgeben kann. Wenn Sie mit Leiden lang anhaltendes Leiden meinen, dann halte ich das für ziemlich unwahrscheinlich. Wenn eine superintelligente Maschine (oder irgendeine Art von superintelligentem Agenten) beschließen würde, uns zu beseitigen, würde sie das meiner Meinung nach ziemlich effizient tun.
Von Emad Mostaque (2024), Gründer von Stability AI, dem Unternehmen hinter Stable Diffusion:
Meine p(doom) liegt bei 50 %. Angesichts eines unbestimmten Zeitraums ist die Wahrscheinlichkeit, dass Systeme, die leistungsfähiger sind als Menschen und wahrscheinlich unsere gesamte kritische Infrastruktur betreiben werden, uns alle auslöschen, eine Münzwurfentscheidung, insbesondere angesichts des Ansatzes, den wir derzeit verfolgen.
Von Daniel Kokotajlo (2023), Spezialist für KI-Governance, OpenAI-Whistleblower und Geschäftsführer des AI Futures Project:
Ich halte die Wahrscheinlichkeit eines KI-Weltuntergangs für 70 % und finde, dass Menschen, die diese Wahrscheinlichkeit auf weniger als beispielsweise 20 % schätzen, sehr unvernünftig sind[.]
Von Dan Hendrycks (2023), Forscher im Bereich maschinelles Lernen und Direktor des Center for AI Safety:
Meine p(doom) > 80 %, aber in der Vergangenheit war sie niedriger. Vor zwei Jahren lag sie bei ~20 %.
Alle oben genannten Forscher haben das Statement on AI Risk unterzeichnet, mit dem wir dieses Buch begonnen haben. Darin heißt es:
Das Mitigieren des Risikos der Auslöschung durch KI sollte neben anderen gesellschaftlichen Risiken wie Pandemien und Atomkriegen eine globale Priorität sein.
Weitere prominente Forscher, die die Erklärung unterzeichnet haben, sind: ChatGPT-Architekt John Schulman, ehemaliger Forschungsdirektor bei Google Peter Norvig, Chief Scientific Officer bei Microsoft Eric Horvitz, Forschungsleiter bei AlphaGo David Silver, AutoML-Pionier Frank Hutter, Pionier des verstärkenden Lernens Andrew Barto, Erfinder von GANs Ian Goodfellow, ehemaliger Präsident von Baidu Ya-Qin Zhang, Erfinder der Public-Key-Kryptografie Martin Hellman und Forschungsleiter bei Vision Transformer Alexey Dosovitskiy. Die Liste geht weiter mit weiteren Unterzeichnern wie Dawn Song, Jascha Sohl-Dickstein, David McAllester, Chris Olah, Been Kim, Philip Torr und Hunderten anderen.
* Wir haben Bedenken hinsichtlich der Praxis, einen “p(doom)” zuzuweisen. Die Zuweisung einer einzigen Wahrscheinlichkeit, im Gegensatz zu mehreren Wahrscheinlichkeiten, die jeweils eine andere Reaktion der Gesellschaft voraussetzen, erscheint uns als defätistisch. Es besteht ein Unterschied um's Ganze zwischen jemandem, der eine hohe p(doom) hat, weil er glaubt, dass die Welt eine Katastrophe größtenteils nicht verhindern kann, und jemandem, der eine hohe p(doom) hat, weil er glaubt, dass die Welt eine Katastrophe verhindern könnte, dies aber nicht tun wird.
Wenn sich herausstellt, dass die meisten Menschen aus dem zweiten Grund einen hohen p(doom)-Wert haben, aber alle davon ausgehen, dass es der erste Grund ist, dann könnten die Aussagen der Menschen über einen hohen p(doom)-Wert als sich selbst erfüllende Prophezeiung dienen und uns auf den Weg zu einer Katastrophe bringen, die vollständig vermeidbar gewesen wäre.
Wir haben auch den Eindruck, dass viele Menschen im Silicon Valley mit “p(doom)“-Zahlen handeln, ähnlich wie mit Baseballkarten, und zwar auf eine Weise, die oft realitätsfern erscheint. Wenn man aufmerksam ist, sollte selbst eine Wahrscheinlichkeit von nur 5 Prozent, dass alle Menschen auf dem Planeten getötet werden, ein offensichtlicher Grund für extreme Alarmbereitschaft sein. Das geht weit über das Bedrohungsniveau hinaus, das erforderlich wäre, um die sofortige Schließung des gesamten Bereichs der KI zu rechtfertigen. Die Menschen scheinen diese Realität überraschend schnell aus den Augen zu verlieren, sobald sie sich daran gewöhnt haben, auf Partys makaber mit p(doom)-Zahlen zu handeln, als wären diese Zahlen eine unterhaltsame Science-Fiction-Geschichte und keine Aussage darüber, was tatsächlich mit uns allen passieren wird.
Das soll nicht heißen, dass die p(doom)-Zahlen der Menschen auch nur annähernd der Realität entsprechen. Aber zumindest sollten Sie diese Zahlen als Hinweis darauf verstehen, dass Experten aus diesem Bereich berichten, dass wir uns in einer echten Notlage befinden.
† Im Gegensatz zu dem, was Hinton zuvor im Video sagt, liegt Yudkowskys Konfidenz hinsichtlich der Gefahren nicht bei “99,999“ Prozent; fünf Neunen würden ein wahnsinnig hohes Maß an Konfidenz darstellen.