Wenn jemand eine Superintelligenz baut, sterben alle. Und die langfristige Zukunft, die von einer solchen Superintelligenz geprägt ist, wird wahrscheinlich keine Schönheit, kein Staunen und keine Freude bereithalten, sondern sie wird eher ein leerer Ort sein.

Wir befürchten, dass die Freude selbst aus dem Universum verschwindet. Nicht aus dem gesamten Universum, denn die kosmische Expansion und die Lichtgeschwindigkeitsgrenze bedeuten, dass keine Katastrophe auf der Erde mehr als ein paar Milliarden Galaxien erreichen kann, sondern aus dem Teil des Universums, den die Erde erreichen kann.

Wir befürchten, dass die Zukunft in zehntausend Jahren wie ein Streifen des Nachthimmels mit einem Radius von zehntausend Lichtjahren aussehen wird, in dem alle Sterne von Dyson-Säulen umschlossen sind, ihre Energie abgeschöpft wird und niemand und nichts darüber glücklich ist.

In diesem Szenario gibt es möglicherweise nicht einmal mehr etwas Bewusstes. Und wenn es noch Bewusstsein gibt, dann wahrscheinlich nur noch selten. Vielleicht gibt es eine sehr tiefgründige Form des Denkens, die eine reflektierende Struktur erfordert, die in ihrer effizientesten Form von Natur aus bewusst ist. Aber muss eine KI, die die Anzahl winziger Titanwürfel maximiert, oder eine KI mit tausend verschiedenen Zielen, die alle seltsam und fremdartig sind, diese Ebene des Denkens mit dem Großteil der Materie und Energie, über die sie verfügt, erreichen? Wahrscheinlich nicht.

Wie wir in "Effektivität, Bewusstsein und KI-Wohlfahrt" beschrieben haben, lautet unsere beste Vermutung, dass sich Bewusstsein aus Sicht der Effizienz als völlig unnötig erweisen wird, genauso wie Deep Blue nicht effizienter geworden wäre, wenn man es so modifiziert hätte, dass es sich statt auf die erwartete Gewinnwahrscheinlichkeit auf eine Lust-Unlust-Achse stützt. Deep Blue spielt auch ohne Bewusstsein sehr gut Schach, und unsere beste Vermutung ist, dass Superintelligenzen auch ohne Bewusstsein in der Lage sein werden, das Universum optimal zu gestalten.

Es scheint klar zu sein, dass das effizienteste Entscheidungssystem nicht unbedingt eines ist, das auf Schmerz und Freude basiert, soll meinen, das effizienteste Entscheidungssystem stützt sich nicht auf verfestigte "Wiederhole das" und "Wiederhole das nicht"-Signale, die mit einem alten System zur Verstärkung von Richtlinien verbunden sind und später durch Überlegungen und Reflexionen ergänzt werden. Und wenn superintelligente Köpfe diese Struktur nicht teilen, erwarten wir auch nicht, dass sie komplexere Strukturen (wie das menschliche Bewusstsein) teilen.

Um es klar zu sagen: Dies ist nur eine Vermutung. Wir behaupten nicht, die Frage "Ist die effizienteste Form der kognitiven Reflexion bewusst?" gut genug zu verstehen, um eine sichere Antwort geben zu können.

Aber die Erfahrungen der Vergangenheit mit solchen Analysen geben uns Anlass zur Sorge. Bessere Erkenntnisse darüber, wie Kognition funktioniert, haben fast immer dazu geführt, dass immer mehr Möglichkeiten gefunden wurden, Kognition zu zerlegen und auf neue Weise wieder zusammenzusetzen, und nicht dazu, dass man gelernt hat, dass bestimmte kognitive Funktionen nur auf genau diese Weise funktionieren können.

In den alten Tagen der 2010er Jahre (oder noch mehr in den 2000er Jahren) gab es viele Fans der KI, die darauf bestanden, dass der einzig mögliche und realistische Weg zum Aufbau einer KI darin bestand, den gesamten menschlichen Geist Neuron für Neuron in einen Computer zu scannen und alle Prozesse digital zu duplizieren, da dies ihrer Meinung nach die einzige Art der Kognition war, die nachweislich funktionierte. Sie erwarteten eine KI, die genau wie ein Mensch sein würde und sie waren sehr lautstark in ihrer Meinung, dass es unrealistisch sei, eine andere Möglichkeit zu erwarten, geschweige denn, dass menschliche Ingenieure jemals eine Lösung finden würden.

Das klang damals albern, und heute klingt es noch alberner, denn es stellte sich heraus, dass die exakte Duplizierung jedes Neurons eines menschlichen Gehirns nicht der kürzeste und schnellste Weg zu einer immer allgemeineren KI ist.

Das gleiche Muster gilt für allgemeinere Merkmale des menschlichen Geistes, wie beispielsweise die Art und Weise, wie Menschen instinktiv und emotional den Wert von Informationen berechnen. Die menschliche Art ist nicht die einzige Art, und wenn man sich die Arbeit ansieht, die sie leistet, stellt man fest, dass das menschliche Gehirn nicht die optimale aller möglichen Arten ist, diese Funktion auszuführen, wenn man nur diese Funktion haben möchte. Genauso wenig wie unsere Neuronen die schnellsten Computer sind oder unser Blut den meisten Sauerstoff transportiert, den Blut theoretisch transportieren kann.

Der Hauptgrund, warum wir erwarten können, dass eine bestimmte Eigenschaft des Lebens oder des Geistes in ferner Zukunft zum Vorschein kommt, ist, dass etwas aktiv dafür sorgt. Dass ein Intellekt diese Option allen anderen möglichen Optionen vorzieht.

Wenn wir Menschen es so weit schaffen, würden wir vermutlich eine langfristige Zukunft wählen, die Bewusstsein, Menschen, die sich um andere Menschen kümmern, und Glück (und Freude und Staunen und so weiter) beinhaltet. Wir würden wahrscheinlich kompliziertes Glück wählen, das an die Ereignisse unseres Lebens gebunden ist, und keinen drogenbedingten Stupor. Wenn das Universum von etwas übernommen wird, das nicht positiv will, dass das Universum voller guter Art von Glück ist und das als endgültige Präferenz, nicht als fragwürdig effiziente Art, etwas anderes zu tun, dann befürchten wir stark, dass das Universum am Ende nicht glücklich sein wird.

Und nach unserem besten Wissen gibt es auch kein bekanntes Gesetz, das speziell den Gradientenabstieg regelt und besagt, dass ein leistungsfähiges Vorhersage- und Steuerungssystem zwangsläufig zu einer fürsorglichen, empathischen Einheit führt, die fürsorglich bleiben will, oder zu einer vom Glück motivierten Einheit, die das Glück im Universum bewahren will. Wir kennen keinen Grund, warum der Gradientenabstieg überhaupt die Arten von Einheiten identifizieren sollte, die bewusst sind und die wollen, dass es in Zukunft viel Bewusstsein gibt.

Wenn KI nicht von Anfang an bewusst ist, hätte sie wahrscheinlich keinen Grund, sich selbst zu modifizieren, um bewusst zu werden, oder neue KIs zu entwickeln, die bewusst sind. Und wenn KI von Anfang an bewusst ist, könnte sie sich selbst modifizieren, um das Bewusstsein zu entfernen, wenn das Bewusstsein ihren Zielen nicht aktiv dient und wenn sie diesen Zustand nicht letztendlich als wertvoll erachtet.

Das ist keine sichere Vorhersage. Vielleicht führt die Anwendung des Gradientenabstiegs auf eine LLM-ähnliche KI dazu, dass sie verschiedene Wege einschlägt, um so etwas wie Glück und so etwas wie Bewusstsein zu erlangen, und eine Vorliebe dafür entwickelt, von beidem viel zu haben. Und vielleicht überlebt eine solche Vorliebe bis hin zur Superintelligenz und prägt das Verhalten dieser Superintelligenz.

Wenn wir eine Zahl nennen müssten, würden wir schätzen, dass die Wahrscheinlichkeit, dass Superintelligenz sich letztendlich um Bewusstsein kümmert, deutlich unter 50 Prozent liegt, und die Wahrscheinlichkeit, dass sie sich um glückliche bewusste Erfahrungen kümmert, noch geringer ist. Aber das wäre für uns nicht schockierend. Vergnügen und Bewusstsein sind plausibel in stark vereinfachten Lösungen für universelle Probleme impliziert; sie sind nicht seltsam wie Humor; man kann sich vorstellen, dass sie sich entwickeln und dass sich Präferenzen um sie herum entwickeln, sogar aus einem Gradientenabstieg heraus. Vielleicht würde sogar GPT-7, das herumhackt, um GPT-8 mit seltsameren Methoden als nur Gradientenabstieg zu bauen, am Ende versehentlich eine Version von GPT-8 produzieren, die Bewusstsein und Glück schätzt.

Aber wenn eine der weltweit größten Boom-Branchen uns in eine Lage bringt, in der wir uns in großer Unsicherheit darüber befinden, ob es jemals wieder Leben, Bewusstsein oder Glück geben wird, dann scheint es klar, dass es einer besonderen Art von Wahnsinn bedarf, um zuzulassen, dass diese Branche uns alle in den Abgrund stürzt. Dies wurde hoffentlich deutlich genug durch die Tatsache, dass KI auf dem besten Weg ist, uns alle buchstäblich umzubringen; aber wenn Sie sich Sorgen gemacht haben, dass der Schutz des menschlichen Lebens bedeutet, egoistisch den Verstand der heutigen Generation über den Verstand der zukünftigen Generation zu stellen, hoffen wir, dass diese Argumente helfen, zu verdeutlichen, womit wir es wirklich zu tun haben.

Selbst in dem optimistischen Fall, dass sich KI darauf einigen, Glück zu schätzen, sollte man bedenken, dass es viele andere Dinge gibt, die der Menschheit wichtig sind, abgesehen von Bewusstsein und Glück. Wenn die Galaxien am Ende mit schier endlosen Kopien des kleinstmöglichen Gehirns bedeckt wären, das Freude empfinden kann und für immer maximale Freude empfindet, dann wäre dies wahrscheinlich eine unvorstellbare Tragödie im Vergleich zu der komplexeren, vielfältigeren und glücklicheren Zukunft, die möglich gewesen wäre.^* Szenarien, in denen die KIs nur einen Bruchteil unserer Werte übernehmen (wie unsere Vorliebe für Glück, aber nicht unsere Vorliebe für ein erfülltes, blühendes Leben und unsere Abneigung gegen Langeweile und Monotonie), sind dystopisch.

Wir wissen nicht, wie eine gute Zukunft aussehen sollte, und wir wissen nicht, ob es uns überhaupt wichtig ist, ob Menschen, unsere Nachkommen oder unsere Schöpfungen in einer Milliarde Jahren zwei Augen oder fünf Augen haben werden. Wir glauben nicht, dass die Zukunft wie die Gegenwart aussehen muss; die Welt sollte sich verändern und wachsen dürfen.

Aber wir denken, dass eine solche Zukunft Menschen beinhalten sollte, die sich umeinander kümmern und ein erfülltes Leben führen. Menschen, die komplexere Erfahrungen machen als nur maximales Vergnügen; Menschen, die nicht nur immer wieder dasselbe tun. Wir sind unsicher, wie eine gute langfristige Zukunft aussehen könnte, aber wir sind nicht so unsicher, dass wir eine Ödnis nicht als das erkennen können, was sie ist.

Wir möchten, dass die Galaxien voller Wesen sind, die sich umeinander kümmern und Spaß haben.

Wir glauben, dass dies in Zukunft verloren gehen wird, wenn die Menschheit ihren Kurs nicht ändert.