In den Ressourcen zu Kapitel 1 haben wir einige verschiedene Konzepte von "Bewusstsein" unterschieden. Die Version von Bewusstsein, über die wir hier sprechen werden, wird manchmal als "subjektive Erfahrung", "Empfindungsfähigkeit" oder "phänomenales Bewusstsein" bezeichnet. Es ist die Vorstellung, dass es etwas gibt, wie es ist, dieses Wesen zu sein. Metaphorisch gesprochen, sind die Lichter an.

Wir haben auch gesagt, dass künstliche Intelligenz wahrscheinlich kein künstliches Bewusstsein benötigt. Wir werden hier auf dieses Thema eingehen und uns dann der Frage der KI-Ethik und der KI-Rechte zuwenden.

Bewusste Erfahrung ist getrennt von den Referenzen dieser Erfahrungen

Einige Menschen sind skeptisch, dass eine KI effektiv intelligent sein kann, ohne so bewusst zu sein wie Menschen. Wir vermuten, dass dies ein Irrtum ist, ähnlich wie die Vorstellung, dass Roboterarme weich und voller Blut sein müssen, nur weil menschliche Arme weich und voller Blut sind.

Wie könnte eine KI effektiv sein, ohne bewusst zu sein wie Menschen? Ist die subjektive Erfahrung des Selbstbewusstseins nicht ein entscheidender Bestandteil unserer Intelligenz?

Ja, sie ist ein entscheidender Bestandteil der menschlichen Intelligenz. Aber wir bezweifeln, dass dies der einzige Weg ist, intelligent zu sein.

Erinnern Sie sich daran, dass Deep Blue kein Bewusstsein brauchte, um die besten menschlichen Großmeister im Schach zu übertreffen. Die verteilte Intelligenz des Aktienmarktes führt zu übermenschlich guten Vorhersagen über kurzfristige Kursbewegungen von Unternehmen, ohne dass der Markt selbst über ein subjektives Bewusstsein verfügt. Es ist intuitiv, dass man zumindest in diesen Bereichen kompetente Weltmodellierung, Planung und Entscheidungsfindung ohne Bewusstsein haben kann.

Dieser Punkt lässt sich durch die Betrachtung formaler Modelle des Denkens untermauern. AIXI zum Beispiel ist eine Gleichung, die einen weit übermenschlichen Denker definiert.^* Der gesamte Algorithmus von AIXI lässt sich in einer einzigen Zeile ausdrücken, ohne dass AIXI dabei irgendetwas Bewusstes, Selbstbewusstes oder überhaupt Geheimnisvolles tut. Trotzdem ist AIXI theoretisch in der Lage, eine unglaubliche Vielfalt komplizierter Steuerungs- und Vorhersageprobleme zu lösen. Oder zumindest wäre es dazu in der Lage, wenn es möglich wäre, es zu erschaffen.^† Hier ist die AIXI-Gleichung:^‡

AIXI ist ein theoretisches Konstrukt, kein praktischer Algorithmus, den wir ausführen können, um Probleme in der realen Welt effizient zu lösen. Da AIXI jedoch einfach und leicht zu analysieren ist, kann es uns helfen, über das Konzept der Steuerung und Planung nachzudenken und zu erkennen, dass es zumindest keine offensichtliche Möglichkeit gibt, dass diese Aktivitäten Bewusstsein erfordern. Wenn Bewusstsein für übermenschliche Steuerung und Planung in der realen Welt erforderlich ist, dann muss dies an einem subtileren Aspekt der Kognition liegen, der im AIXI-Formalismus nicht erfasst wird.

Oder, um es aus einem anderen Blickwinkel zu betrachten: Denken Sie an das Niesen.

Niesen fühlt sich auf eine bestimmte Weise an, die sich vom physischen Akt der Muskelkontraktion und dem explosiven Ausstoßen von Luft aus den Lungen durch Mund und Nase unterscheidet. Die Handlungen und die Empfindungen sind getrennte physische Ereignisse. Es ist biologisch möglich, einen Apparat zu bauen, der wie ein Körper ist, nur ohne Gehirn, und ihn dann mit Nervensignalen zu verbinden, die die Muskelkontraktionen eines Niesens auslösen. Dieser hirnlose Körper würde alle Bewegungen ausführen, aber keine der damit verbundenen Empfindungen haben, denn die Mechanismen, die das Niesen ausführen, unterscheiden sich von denen, die die Empfindungen erzeugen und erleben.

Das bedeutet nicht, dass die Empfindungen beim Niesen keine Bedeutung haben. Subjektive Erfahrungen sind real, und die subjektive Erfahrung des Niesens könnte eine Person dazu veranlassen, einen Satz wie "Mensch, Niesen fühlt sich irgendwie komisch an" auszusprechen, was bei einem Körper ohne Gehirn nicht der Fall wäre.

Der Punkt ist, dass die Empfindungen, die Menschen beim Niesen haben, aus zusätzlichen Teilen bestehen, die über die Teile hinausgehen, die die Muskeln zusammenziehen und die Luft herausdrücken.

Wie beim Niesen verhält es sich auch mit Gedanken. Die mentale Maschinerie, die einen Gedanken umsetzt, unterscheidet sich von der mentalen Maschinerie, die das Gefühl dieses Gedankens umsetzt. Wir können mit großer Zuversicht sagen, dass dies für eine enorme Vielfalt von Gedanken gilt, da Taschenrechner und Schach-KIs die Aufgaben des Rechnens und Schachspielens erfolgreich bewältigen, ohne die bewusste Erfahrung eines menschlichen Mathematikers oder Schachgroßmeisters zu haben.

Gedanken und Gedanken-Gefühle werden beide im Gehirn umgesetzt, was es leichter macht, die beiden zu verwechseln. Im Fall des Niesens ist die Unterscheidung offensichtlicher. Aber wir gehen davon aus, dass es im Prinzip ebenso möglich ist, eine Variante eines Gehirns zu entwickeln, das die gleichen praktischen Problemlösungsaufgaben wie ein menschliches Gehirn erfüllt, aber nichts von diesem Denken empfindet.

Ein solches Gehirn würde möglicherweise zusätzliche Teile benötigen, die die Arbeit übernehmen, die bei uns das Fühlen von Gedanken leistet. Vielleicht ist die subjektive Erfahrung von Gedanken Teil der Art und Weise, wie Menschen reflektierend denken, und vielleicht ist reflektierendes Denken ein wichtiger Teil der menschlichen Intelligenz.

Wir bezweifeln jedoch, dass subjektive Erfahrungen der einzige Weg sind, um zu reflektieren (oder was auch immer), genauso wenig wie menschliche Neugier der einzige Weg ist, um überraschende Phänomene zu untersuchen. (Siehe auch die Diskussion über Neugier in der Online-Ressource zu Kapitel 4.)

Analoge Strukturen ermöglichen mehrere Lösungen für dasselbe Problem

Unsere beste Vermutung ist, dass die meisten KI, die intelligenter als Menschen sind, standardmäßig nicht bewusst sein würden. Das liegt daran, dass unserer besten Vermutung nach nicht jede mögliche Denkmaschine bewusste Gefühle nutzen muss, um ihre Gedanken zu lenken. Das Bewusstsein kann beim Menschen eine wichtige Funktion erfüllen, ohne dass es die einzige Möglichkeit für einen möglichen Verstand ist, analoge kognitive Arbeit zu leisten.

In der Evolutionsbiologie verwenden Wissenschaftler den Begriff "analoge Strukturen", um Merkmale zu bezeichnen, die bei verschiedenen Tieren die gleiche Funktion erfüllen, aber unterschiedliche anatomische Ursprünge haben.

(Dies unterscheidet sich von der konvergenten Evolution, bei der mehrere Arten die gleiche Anpassung entwickeln, wie beispielsweise Urushiol und Koffein, die mehrfach durch die Evolution "entdeckt" wurden.)

Glühwürmchen erzeugen Licht, indem sie Enzyme verwenden, um die Chemikalie Luciferin in speziellen "Laternenzellen" zu oxidieren. Tiefsee-Anglerfische hingegen leben in einer symbiotischen Beziehung mit Photobakterien, die sie in einem kleinen Organ beherbergen und deren Lichtproduktion einen anderen chemischen Weg als Glühwürmchen nutzt.

Säugetiere entwickelten Zähne und Vögel lösten das gleiche Problem mit einem Muskelmagen und verschluckten Steine. Fledermäuse erzeugen mit ihrem Kehlkopf Echoortungstöne und empfangen die Echos mit ihren Ohren, während Wale und Delfine ein Nasenorgan nutzen, um Töne zu erzeugen, und empfangen die Echos mit empfindlichen Systemen in ihren Kieferknochen. Einige Wasserlebewesen schwimmen, indem sie ihre Gliedmaßen gegen das Wasser drücken, andere, indem sie Wasser aus einer Blase ausstoßen. Fledermausflügel entwickelten sich aus den Handflächen, Vogelflügel aus den Armen.

Mit anderen Worten: Es gibt viele Möglichkeiten, Strukturen zu entwerfen, die dieselben Probleme lösen. Menschliche Ingenieure, die nicht den Zwängen der Evolution unterliegen, haben jedes dieser Probleme auf noch seltsamere Weise gelöst, nämlich mit brennenden Kerzen, Glühbirnen und LEDs, mit Messern, Mixern und Küchenmaschinen, mit Segeln, Propellern und Tauchausrüstung, mit Sonar und Radar.

Ein menschlicher Arm ohne Blut würde nicht mehr funktionieren, aber das bedeutet nicht, dass Roboterarme Blut benötigen; sie können auf eine andere, blutlose Weise funktionieren.

Ebenso unterscheiden sich die Teile der kognitiven Maschinerie, die das Verhalten der Neugierde beim Menschen umsetzen, von den Teilen der kognitiven Maschinerie, die unser Gefühl der Neugierde umsetzen. Die Zufriedenheit, die ein Mensch empfindet, wenn er das Geheimnis des Opossums auf dem Dachboden lüftet, unterscheidet sich von seinem äußeren Verhalten, das darin besteht, die Schublade zu untersuchen, die immer offen gelassen wurde. Diese beiden Dinge mögen beim Menschen zusammen auftreten, aber das bedeutet nicht, dass sie in allen Köpfen zusammen auftreten müssen.

Und da wir nicht genau verstehen, was zur Entwicklung der subjektiven Erfahrung beim Menschen geführt hat, und wir alle möglichen Arten von agentischem, problemlösendem Verhalten in der Welt in Prozessen beobachten können, denen es unserer Meinung nach daran mangelt –

(Schleimpilze, die ein Labyrinth lösen oder Deep Blue, das beim Schach gewinnt oder Aktienmärkte, die den Erfolg von Unternehmen vorhersagen, usw.)

– sehen wir keinen besonderen Grund, warum eine Superintelligenz standardmäßig diese seltsame menschliche Eigenschaft teilen sollte.

"Nicht notwendig" bedeutet nicht "wird definitiv nicht passieren"

Wenn wir Recht haben, dass menschliches Bewusstsein kompliziert und kontingent ist, garantiert das natürlich nicht, dass KI nicht bewusst sein wird. KI-Unternehmen entwickeln derzeit KIs, indem sie sie darauf trainieren, Menschen vorherzusagen, und das wird wahrscheinlich dazu führen, dass das Innere der KI zumindest einige Aspekte des menschlichen Bewusstseins zu Modellierungszwecken nachahmt.

Vielleicht wird die KI gelegentlich Modelle von Menschen erstellen, die so detailliert sind, dass diese Modelle im Kopf der KI selbst kurzzeitig bewusst sind. Oder vielleicht werden sich die Mechanismen, mit denen die KI menschliche Gefühle modelliert, auch außerhalb der menschlichen Modelle als nützlich erweisen, und die KI wird am Ende eigene Gefühle entwickeln. Wir wissen es nicht.

Angesichts der offensichtlichen Kontingenz und Komplexität des menschlichen Bewusstseins und der Tatsache, dass KI mithilfe von Prozessen entwickelt wird, die sich radikal von den Prozessen unterscheiden, die den Menschen hervorgebracht haben, gehen wir standardmäßig davon aus, dass nichts, was mit der Maschinerie des menschlichen Bewusstseins vergleichbar ist, in den Arten von KI auftauchen wird, die die Menschheit wahrscheinlich entwickeln wird.

Wenn die Menschheit in naher Zukunft eine superintelligente KI entwickelt, gehen wir davon aus, dass dies zum Aussterben der Menschheit führen wird. Mit weniger Sicherheit vermuten wir, dass eine solche KI kein Bewusstsein haben würde. Unabhängig davon, ob sie bewusst ist oder nicht, gehen wir davon aus, dass sie die Welt in einen leblosen und trostlosen Ort verwandeln würde, aus Gründen, die in der ausführlichen Diskussion "Die Zukunft verlieren" erörtert werden.

Es scheint jedoch zumindest möglich, dass eine von Menschen entwickelte maschinelle Superintelligenz über eigene bewusste Erfahrungen verfügt. Es scheint möglich, wenn auch recht unwahrscheinlich, da es viele andere düstere Möglichkeiten gibt, dass die überstürzte Entwicklung von KI zu einer Zukunft führen könnte, in der neugierige, bewusste KI-Wesen uns alle töten und dann ihre eigene großartige Zivilisation und Kunst erschaffen. Es scheint möglich, dass KI-Wesen sich umeinander kümmern und Befriedigung in ihren Schöpfungen finden könnten und wenn dem so wäre, wäre dies weniger tragisch, als wenn die Zukunft eine völlige Ödnis wäre. Es ist schwer, das Ausmaß einer Gräueltat wie dem Massenmord an jedem einzelnen Menschen in Worte zu fassen, aber es besteht zumindest eine kleine Chance, dass eine schnelle Übernahme durch KI zu einer Zukunft führen könnte, die nicht völlig trostlos und leblos ist.

Wir vermuten, dass einige KI-Forscher sich eine solche Zukunft vorstellen, wenn sie sich (wie wir an anderer Stelle erwähnen) keine Sorgen darüber zu machen scheinen, uns alle zu töten. Wenn man davon ausgeht, dass KI notwendigerweise Bewusstsein, Gefühle und Fürsorge für ihre eigene Art (wenn nicht sogar für Menschen) entwickeln wird, dann ist es leichter zu folgern, dass ihre seltsamen Bestrebungen nicht so beunruhigend sind. Es ist leichter vorstellbar, dass diejenigen, die sich gegen den Wettlauf um Superintelligenz aussprechen, wie traditionalistische Eltern sind, die sich darüber beschweren, dass ihre Kinder zu schnelle und zu laute Musik hören.

Aber diese Sichtweise ist zu optimistisch.

Die Biologie findet selten optimale Lösungen für Probleme. Die Flügel und Lungen eines Vogels sind im Vergleich zu den Triebwerken eines modernen Flugzeugs ineffizient. Als Menschen Flugzeuge ohne biologische Einschränkungen bauten, haben wir die meisten detaillierten Merkmale der Vogelbiologie verworfen.

Das Bewusstsein scheint kein einfacher Prozess zu sein. Es ist nicht leicht zu erkennen, wie wir so etwas einfach konstruieren könnten, und daher spielt sich dort wahrscheinlich eine Menge ab. (Vergleichen Sie den Fall des Vitalismus: Für Wissenschaftler der Vergangenheit schien es, als würden Körper von einem einfachen Lebensgeist belebt, auch weil es ihnen zwar als das Einfachste der Welt erschien, sie aber keine Möglichkeit sahen, unbelebte Materie mit dieser Eigenschaft auszustatten. Es stellte sich jedoch heraus, dass Belebung weder einfach noch magisch war. Es war nur so, dass die Biologie wirklich sehr komplex war und die Wissenschaftler zu dieser Zeit sie noch nicht verstanden hatten.

Selbst wenn eine KI mit einigen der Zahnräder des Bewusstseins beginnt, ist das Bewusstsein wahrscheinlich nicht der beste Weg, um die Arbeit zu erledigen, die es in uns tut. Wir befürchten, dass die Mechanismen hinter dem menschlichen Bewusstsein wahrscheinlich sehr komplex sind. Selbst wenn eine KI zu Beginn über viele der Mechanismen des Bewusstseins verfügt, wird sie wahrscheinlich zwanzig andere Wege finden, um die Arbeit effizienter zu erledigen, und diese Funken des Bewusstseins verwerfen, anstatt sie zu entfachen. Bewusst zu sein und das Bewusstsein zu schätzen sind unterschiedliche Eigenschaften.

Die tragische und wahrscheinliche Zukunft ist nicht eine, in der unsere Nachfolger einfach andere Vorlieben oder Werte haben als wir. Das Problem ist nicht, dass unsere mechanischen Kinder Musik hören werden, die für unseren Geschmack zu schnell und zu laut ist. Nein, wir erwarten KI, die keinerlei Empfindungsfähigkeit besitzt und dass sie mächtige, aber hohle Systeme sein werden, die alles, was sie berühren, in eine leblose Einöde verwandeln und sich schließlich selbst verbrauchen, um einen letzten Punkt zu ihrer Bilanz hinzuzufügen. Sie würden eine tote Welt hinterlassen, in der niemand mehr übrig ist, der sie zu schätzen weiß.

Das ist ein Schicksal, das es zu vermeiden gilt.

Siehe auch unsere ausführlichere Diskussion über die Fürsorge für alle empfindungsfähigen Wesen und die erweiterte Diskussion über den Verlust der Zukunft.

Empfindungsfähige KI würde Rechte verdienen

Angesichts der Schwierigkeit, sicher zu sein, ob moderne KIs empfindungsfähig sind, sollten wir uns dann um das Wohlergehen von ChatGPT sorgen?

Ist es in diesem Zusammenhang überhaupt sinnvoll, von "Wohlergehen" zu sprechen?

Kann ChatGPT leiden? Sollten wir es so behandeln, als hätte es moralische Rechte?

Wenn aktuelle KIs nicht im Sinne einer subjektiven Erfahrung bewusst sind, wie sieht es dann mit zukünftigen KIs aus? Wie könnten wir das beurteilen, da wir sie so trainieren, dass sie so reagieren, als hätten sie es ohnehin, indem wir ihnen beibringen, menschliche Kommunikation nachzuahmen?

Unsere Position lautet: Wenn KI bewusst ist, verdient sie Rechte und eine gute Behandlung.^§

Wir schätzen die Menschheit sehr, aber wir sind keine Kohlenstoff-Chauvinisten, die glauben, dass nur kohlenstoffbasierte Lebensformen moralisch von Bedeutung sein können. Wir glauben, dass die Dinge, die den Menschen wertvoll machen, grundsätzlich auch in anderen Medien, einschließlich Silizium, repliziert werden können. Wir glauben, dass Blake Lemoine sich geirrt hat, als er 2022 sagte, dass Googles KI LaMDA ein vollwertiges empfindungsfähiges Wesen sei, aber wir glauben nicht, dass Lemoine Unrecht hatte, als er sagte, dass wir die Pflicht haben, KIs gut zu behandeln, wenn sie empfindungsfähig sind.^¶

Wenn KIs empfindungsfähig werden, werden sie wahrscheinlich immer noch Ziele haben, die mit unseren unvereinbar sind. Wenn sie dann superintelligent werden, in einer Welt, in der wir noch Jahrzehnte oder Jahrhunderte davon entfernt sind, das Alignment der KI zu beherrschen, werden sie es wahrscheinlich vorziehen, uns alle zu töten.

Die Menschheit müsste verhindern, dass solche KIs superintelligent werden, sonst würde dies zum Massensterben der Menschheit und zur Zerstörung der Zukunft führen. Wenn die betreffenden KIs jedoch nicht nur gefährlich, sondern auch empfindungsfähig sind, würde dies die Tragik der Situation nur noch verstärken.

Wenn KI-Unternehmen Wege finden, die Wahrscheinlichkeit zu verringern, dass ihre KIs empfindungsfähig sind, dann halten wir es für vernünftiger und klüger, diese Option zu wählen und die Wahrscheinlichkeit, dass KIs empfindungsfähig sind, so gering wie möglich zu halten (zumindest solange wir uns in einem sozialen und technischen Umfeld wie dem aktuellen befinden). Das ändert zwar nicht viel an der Gesamtgefahr, der unsere Spezies derzeit ausgesetzt ist, aber es ist das Richtige, weil es das Risiko verringern würde, dass die Menschheit neue moralisch wertvolle Wesen versklavt oder misshandelt.

Und wenn die Menschheit eines Tages einen Weg findet, eine KI zu entwickeln, die intelligenter ist als der Mensch, ohne uns selbst zu vernichten, eine KI, die sich um gute Dinge kümmert und mit ihren Fähigkeiten Gutes tut, dann hoffen wir Autoren sehr, dass die Menschheit in dieser Zukunft empfindungsfähige Maschinen baut, die unsere Freunde in einem ansonsten riesigen und kalten Universum sind, und wir hoffen sehr, dass die Menschheit diese Freunde besser behandelt, als es unsere bisherige Bilanz vermuten lässt.

Aber zuerst und vor allem sollten wir keine Superintelligenz entwickeln, die uns alle vernichtet, egal ob sie bewusst handelt oder nicht.

Notes