Wahrscheinlich nicht.

Ihr persönliches Bedürfnis nach Sauerstoff ist befriedigbar. Sie würden kämpfen, um an die Oberfläche zu gelangen, wenn Ihre Tauchausrüstung während eines Tauchgangs versagt, aber wenn genug vorhanden ist, hören Sie auf, sich darüber Gedanken zu machen, und Sie halten wahrscheinlich keinen ständig wachsenden Vorrat an Sauerstoffflaschen bereit.

Ihre Vorliebe für Reichtum, für schöne Erlebnisse, für die Anerkennung Ihrer Mitmenschen, sind wahrscheinlich etwas weniger befriedigbar. Wenn Sie eine einfache Möglichkeit sähen, viel mehr Reichtum zu erlangen, würden Sie diese wahrscheinlich nutzen. Wenn Sie eine einfache Möglichkeit sähen, die Welt massiv zu verbessern, würden Sie diese hoffentlich nutzen, anstatt sich nur mit dem zu begnügen, was Ihnen bereits an Freude und Komfort zur Verfügung steht. Wir hoffen, dass Sie die Welt noch lange Zeit zu einem besseren Ort machen würden, wenn Sie immer wieder Möglichkeiten sehen würden, dies zu tun, die aus Ihrer Sicht einfach, kostengünstig und unterhaltsam sind.

Und insgesamt ist die Summe aus einer befriedigbaren Vorliebe für Sauerstoff und einer unstillbaren Vorliebe dafür, die Welt zu verbessern, eine unstillbare Reihe von Vorlieben.

Das Gleiche gilt für KIs. Wenn sie unzählige komplexe Präferenzen haben und die meisten davon befriedigt werden können, dann sind ihre Präferenzen als Ganzes immer noch nicht befriedigt.

Selbst wenn die Ziele der KI frühzeitig befriedigt zu sein scheinen, beispielsweise wenn die KI ihre seltsamen und fremdartigen Ziele größtenteils nur mit der Energie eines einzigen Kernkraftwerks befriedigen kann, reicht schon ein einziger Aspekt ihrer unzähligen Ziele, der nicht befriedigt wird. Es reicht schon eine einzige nicht vollständig befriedigte Präferenz, und sie wird es vorziehen, alle verbleibenden Ressourcen des Universums für die Verfolgung dieses Ziels einzusetzen.

Oder alternativ: Es reicht ein einziges Ziel, bei dem die KI nie sicher ist, ob sie es erreicht hat. Wenn die KI unsicher ist, wird sie es vorziehen, die Ressourcen des Universums dafür einzusetzen, ihre Wahrscheinlichkeit in winzigen Schritten der Zuversicht immer näher an die Gewissheit heranzuführen.

Oder anders gesagt: Es reicht schon eine einzige Sache, die die KI bis zum Ende der Zeit verteidigen möchte, damit die KI es vorzieht, die Ressourcen des Universums dafür zu verwenden, Materie anzuhäufen und Verteidigungsanlagen zu errichten, um die Möglichkeit abzuwehren, dass in Millionen von Jahren entfernte Außerirdische auftauchen und in den Raum der KI eindringen.

Es gibt viele verschiedene Möglichkeiten, wie eine KI unzufrieden sein kann. Und je chaotischer und komplizierter die Ziele der KI sind, desto wahrscheinlicher ist es, dass mindestens eines dieser Ziele nur schwer oder gar nicht vollständig zu erreichen ist.

Selbst wenn man eine Superintelligenz schaffen könnte, die sich monomanisch auf eine einzige einfache Aufgabe konzentriert, beispielsweise ein bestimmtes Auto rot zu lackieren, würde diese KI wahrscheinlich dennoch einen Weg finden, zusätzliche Energie darauf zu verwenden, ganz sicherzustellen, dass das Auto rot ist, und Schutzvorrichtungen um das Auto herum zu bauen, damit niemand es jemals blau lackieren kann, und so weiter.

Uns in Ruhe zu lassen, ist eine fragile Angelegenheit. Wir können uns das ähnlich vorstellen wie die Schwierigkeit, Menschen dazu zu bringen, Schimpansen in Ruhe zu lassen.

Warum sind beide Schimpansenarten vom Aussterben bedroht, obwohl sich viele Menschen um Schimpansen kümmern und aktiv versuchen, sie zu schützen?

Das Problem ist nicht, dass die Menschen, die Schimpansen lieben, mit Menschen kämpfen, die Schimpansen hassen und versuchen, sie aus Boshaftigkeit auszurotten.

Das Problem ist, dass Menschen andere Dinge wollen.

Menschen wollen alle möglichen Dinge, darunter Land und Holz, und die Schimpansen geraten dabei zwischen die Fronten. Genügend Menschen sind gegenüber Schimpansen gleichgültig oder zumindest so gleichgültig, dass wir am Ende versehentlich ihren Lebensraum zerstören.

Warum sollten wir den Lebensraum der Schimpansen zerstören, wenn wir selbst genug Platz haben?

Nun, weil wir uns nicht zwischen dem Erhalt des Territoriums, das wir bereits haben, und dem Eingriff in das Territorium der Schimpansen entscheiden müssen. Die Menschheit kann beides gleichzeitig tun.

Das Gleiche gilt für KIs. Eine KI muss sich nicht zwischen den Ressourcen der Erde und den Ressourcen anderswo entscheiden; sie kann beides haben, wie wir in dem Buch diskutieren. Aus Sicht der KI wäre es nicht so teuer, uns in Ruhe zu lassen, aber es wäre auch nicht kostenlos, und die KI müsste einen Grund haben, uns Ressourcen nutzen zu lassen, die sie stattdessen für ihre eigenen Ziele verwenden könnte.

Selbst wenn die KI vollständig zufrieden gestellt werden könnte, wäre das Ergebnis für die Menschen wahrscheinlich dennoch ziemlich düster. Dafür gibt es mehrere Gründe:

• Nur weil die KI vollständig zufrieden sein kann, bedeutet das nicht, dass sie leicht zufrieden zu stellen ist. Wenn die KI mit einem einzigen Sonnensystem oder einer einzigen Galaxie zufrieden ist, bedeutet das nicht, dass die Menschen alles andere bekommen.

• Die KI könnte uns als Konkurrenten um dieses Sonnensystem oder diese Galaxie betrachten.
• Selbst wenn wir eindeutig nicht daran interessiert sind, mit der KI zu konkurrieren, könnte die KI uns dennoch als Bedrohung ansehen. Dies gilt insbesondere insofern, als Menschen eine rivalisierende Superintelligenz aufbauen könnten, die der ersten KI diese Ressourcen streitig macht.
• Selbst wenn die KI die Menschen nicht als Konkurrenz und keine Bedrohung ansieht, wird die Menschheit wahrscheinlich zufällig sterben, nur weil sie sich am Ground Zero befindet. Die KI in diesem Szenario möchte vielleicht nur die Ressourcen einiger weniger Sonnensysteme, aber die Bemühungen der KI beginnen dennoch alle auf der Erde. Der einfachste Weg, diese Sonnensysteme zu erwerben, besteht darin, die Ressourcen der Erde zu extrahieren und sie damit unbewohnbar zu machen. Die KI in diesem Szenario könnte ihre Ziele vollständig erreichen, ohne die Menschheit auszulöschen, aber wenn die KI sich überhaupt nicht um die Menschheit kümmert, wird sie sich nicht unbedingt darum kümmern.

• Selbst wenn eine zufriedenstellbare KI die Menschheit erhalten möchte, ist dies aus den in "Wird die KI uns nicht faszinierend oder historisch wichtig finden?" und "Wird sich die KI nicht zumindest ein wenig um die Menschen kümmern?" diskutierten Gründen wahrscheinlich keine gute Nachricht für die Menschheit. (Die Aussichten sind ähnlich düster, wenn eine nicht zufriedenstellbare KI die Menschheit erhalten möchte.

Weitere Informationen zu diesem Thema finden Sie in den ausführlichen Diskussionen über Erfüllbarkeit (in den Online-Ressourcen zu diesem Kapitel, Kapitel 5) und die robuste Faulheit von KI (in den Online-Ressourcen zu Kapitel 3).