Wir sind in vielen Dingen optimistisch, aber Superintelligenz ist nicht wie die meisten Dinge.

Wir würden uns selbst als viel optimistischer und enthusiastischer als der Durchschnittsmensch in Bezug auf Kernkraft, Geothermie, Gentechnik, Neuroengineering, Biotechnologie, Nanotechnologie, pharmazeutische Entwicklung und viele andere Technologien betrachten.^*

Wir gehen davon aus, dass wir zumindest etwas weniger besorgt sind als die meisten Menschen über das Risiko eines Atomkrieges, Worst-Case-Szenarien des Klimawandels und viele andere potenzielle Risiken und Katastrophen. Wir glauben, dass sich die Menschheit im Großen und Ganzen auf einem guten Weg befindet und dass, wenn wir es vermeiden, uns selbst auszulöschen, die Zukunft wahrscheinlich (wenn auch nicht sicher) für alle wunderbar sein wird, wobei der soziale und technologische Fortschritt die Dinge im Laufe der Zeit immer besser machen wird.

Wir sind auch optimistischer als viele andere, was die menschliche Natur angeht. Wir glauben an das Gute im Menschen und daran, dass dieses Gute sich vertiefen und wachsen kann, wenn wir überleben und uns zu dem entwickeln, was wir sein möchten. Wir haben größtenteils keine Angst davor, dass die Menschheit in einer düsteren oder dystopischen Zukunft endet, wenn wir keine KI entwickeln, die uns daran hindert, überhaupt eine Zukunft zu haben.

Unsere Besorgnis über KI, die intelligenter ist als der Mensch, ist nicht von allgemeinem Zynismus oder Pessimismus getrieben. KI, die intelligenter ist als der Mensch, unterscheidet sich von anderen Technologien, die es zuvor gab.

Andere Technologien denken nicht selbstständig, planen keine Fluchtwege und entwickeln keine noch leistungsfähigeren Technologien. Eine KI, die intelligenter ist als der Mensch, ist ein Sonderfall.

Wir betrachten unsere Sorgen über KI als auf sehr wenige andere Dinge übertragbar, da nur sehr wenige Dinge auch nur annähernd so gefährlich sind.

Und selbst im Fall der Superintelligenz, die eine einzigartig große Bedrohung und eine enorme Herausforderung für die internationale Gemeinschaft darstellt, glauben wir, dass es Hoffnung für eine gute Zukunft gibt. Wir glauben, dass die Menschheit in der Lage ist, die Entwicklung der KI zu bremsen, und dass dies ausreichen könnte, um uns auf einen positiven Kurs zu bringen. Wir glauben sogar, dass die Menschheit (mit viel mehr Zeit) sich in eine gute Position bringen könnte, um Superintelligenz sicher zu entwickeln.

Aber um dorthin zu gelangen, müssen wir uns zunächst der Realität der Situation stellen.

Es geht um die Argumente, nicht um die düster klingenden Geschichten.

Wir haben eine lange Liste von Möglichkeiten zusammengestellt, wie beispielsweise "Superintelligenz ist von Menschen fasziniert" im wirklichen Leben wahrscheinlich schiefgehen würde. Wenn man eine solche Liste liest, kann man sich vorstellen, dass einige Leser vielleicht so reagieren:

Die KI-Optimisten haben all diese hoffnungsvoll klingenden Geschichten. Sie haben all diese beängstigend klingenden Geschichten. Alle sind sich jedoch einig, dass die Zukunft schwer vorherzusagen ist. Wenn ich all diese Geschichten höre, habe ich das Gefühl, dass ich von einer mittleren Wahrscheinlichkeit einer KI-Katastrophe ausgehen sollte und nicht von einer extremen Wahrscheinlichkeit in die eine oder andere Richtung.

Aber Sie sagen nicht: "Es gibt beängstigende Geschichten und es gibt auch hoffnungsvolle Geschichten, daher können wir nicht sicher sein, was passieren wird, und wir sollten Superintelligenz verbieten, nur um auf der sicheren Seite zu sein." Sie sagen, dass die hoffnungsvollen Geschichten selektiv ausgewählt und unwahrscheinlich sind und dass Ihre eigenen Geschichten mehr Gewicht haben sollten. Warum?

Die kurze Antwort lautet: Man kann keine guten Vorhersagen über die Zukunft treffen, indem man einfach alle düsteren Geschichten und alle glücklichen Geschichten zusammenzählt und sie wie Murmeln auf einer Waage abwägt. Das Durchdenken verschiedener Szenarien kann manchmal hilfreich sein, aber nicht auf diese Weise.^†

Um den allgemeinen Punkt zu veranschaulichen: Stellen Sie sich vor, jemand sagt: "In zweihundert Jahren wird es genau acht Wale geben, und sie werden alle lila sein."

Menschen haben eine lebhafte Fantasie. Jemand könnte ein Buch mit Hunderten von Geschichten füllen, wie es dazu kam, dass die Walpopulation auf genau acht Exemplare geschrumpft ist, die alle lila sind. Jemand anderes könnte ein Buch mit Hunderten von Geschichten füllen, in denen es nicht genau acht Wale gibt. Man kann keine genauen Vorhersagen treffen, indem man sagt: "Nun, beide Seiten haben plausibel klingende Geschichten, also liegt die Wahrheit sicherlich irgendwo in der Mitte."

Um herauszufinden, was wahr ist, muss man sich die tatsächlichen Argumente ansehen. Im Fall der lila Wale lautet das Argument im Wesentlichen, dass das Ergebnis zu eng und spezifisch ist und nur erreicht werden kann, wenn die dominierenden Kräfte, die die Welt lenken, dies auch versuchen. Ähnliches lässt sich über superintelligente KI sagen, die gute, mit dem Menschen kompatible Ergebnisse hervorbringt.

Jemand, der die Aufgabe hätte, die Geschichten über die "acht lila Wale" eine nach der anderen zu widerlegen, würde in einer ziemlich repetitiven Schleife enden und sagen: "Nein, das ist zu spezifisch. Es gibt eine Reihe anderer Möglichkeiten, wie die Zukunft verlaufen könnte, die nicht genau dorthin führen würden. Sich vorzustellen, dass es genau so kommt, ist Wunschdenken."

Das ist mehr oder weniger die Rolle, in der wir Autoren uns in Bezug auf die KI-Situation befinden: Menschen können alle möglichen Geschichten erzählen, in denen alles gut läuft, aber letztendlich beinhalten diese alle die Vorstellung, dass die Zukunft einem einzigen engen Pfad folgt, obwohl es in Wirklichkeit eine Reihe anderer Möglichkeiten gibt, wie die Zukunft verlaufen könnte. Deshalb wiederholen wir immer wieder, dass Menschen nicht die effizienteste Lösung für fast jedes Problem sind und dass KI sich nicht im Geringsten um uns kümmern wird.

If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würdereiht nicht einfach eine Reihe düsterer Geschichten aneinander und kommt damit zu dem Schluss, dass KI gefährlich ist. In dem Buch legen wir ein Argument dar, das in gewisser Weise recht einfach ist: Forscher versuchen, KIs zu entwickeln, die weitaus intelligenter sind als jeder Mensch. Irgendwann werden sie wahrscheinlich Erfolg haben. Mit den derzeitigen Methoden haben Menschen kaum Einfluss darauf, in welche Zukunft die KI steuert. Es gibt viele verschiedene Richtungen, die sie einschlagen könnte, und die meisten davon sind nicht gut.

Der Grund, warum wir all diese Gegenargumente aufzählen, ist nicht, Sie mit Pessimismus zu überwältigen (wenn Sie zu den Menschen gehören, die Online-Ressourcen von Anfang bis Ende lesen). Es ist vielmehr so, dass uns all diese verschiedenen Fragen immer wieder gestellt werden und es schön ist, irgendwo eine Sammlung von Antworten zu haben. Sie müssen nicht alle durchlesen. Die Antworten ähneln sich ohnehin alle.

Was zählt, sind die Argumente selbst, nicht die Neigung einer Person zu Optimismus oder Pessimismus und auch nicht die Anzahl der Geschichten, die jemand erzählen kann.