Wir haben das Beispiel von Jürgen Schmidhuber angeführt, einem wegweisenden KI-Forscher, der glaubte, dass eine KI mit der Präferenz, Dinge so einfach wie möglich zu gestalten, am Ende Menschen lieben würde, weil Menschen so gut darin sind, Dinge zu vereinfachen.

Unserer Erfahrung nach ist dies ein bemerkenswert häufiger Fehler. "Nun, die KI wird wahrscheinlich ästhetische Vorlieben entwickeln. Und Menschen schaffen Kunst! Also wird die KI uns behalten wollen, damit wir Kunst schaffen."

Ein aktuelles Beispiel stammt von xAI, einem großen KI-Labor (gegründet von Elon Musk), dessen erklärter Plan für unser aller Überleben darin besteht, dass sie ihre KI dazu bringen, sich maximal um "Wahrheit" und "Neugier" zu kümmern, und da Menschen Wahrheiten generieren und Neugier wecken, wird alles gut werden. (Mehr über den Plan dieses Labors und andere Überlebenspläne der Labors finden Sie in Kapitel 11.)

Um das Problem dieser Art von Argumentation wirklich zu veranschaulichen, ist es hilfreich, ein Beispiel im Detail zu betrachten. Nehmen wir ein Beispiel, das etwas neutraler ist als "Kunst", beispielsweise "Symmetrie".

Nehmen wir an, KI-Labore würden mit aktuellen Techniken intelligentere KIs als Menschen entwickeln, denen Symmetrie wichtig ist. Würde diese Vorliebe für Symmetrie allein dazu führen, dass sie sich um Menschen kümmern?

Man könnte argumentieren, wie Schmidhuber: Menschen sind bilateral symmetrisch! Wie könnte eine KI, die Symmetrie liebt, es ertragen, etwas so Symmetrisches wie uns zu töten? Und man könnte auch andere Argumente vorbringen, wie zum Beispiel: Menschen produzieren viele Autoräder, die sehr symmetrisch sind! Warum sollte eine KI uns aus der Welt entfernen, wenn wir eine automatische, bereits vorhandene Quelle für symmetrische Dinge sind?

Das Problem bei dieser Argumentation ist, dass es möglich ist, die Atome, aus denen ein Mensch besteht, auf noch symmetrischere Weise anzuordnen. Oder die Atome, aus denen die menschliche Zivilisation besteht, zu Fabriken umzuordnen, die symmetrische Objekte noch effizienter produzieren. Es ist derselbe Fehler, den der Film "Matrix" macht, wenn er sich vorstellt, dass KIs Menschen in Kapseln als Wärme- und Stromgeneratoren am Leben erhalten könnten: Es gibt effizientere Möglichkeiten, Wärme und Strom zu erzeugen.

Nehmen wir jedoch einmal an, dass KI eine ganz bestimmte und ungewöhnliche Art von Symmetrie schätzt, die Menschen tatsächlich als erstaunliche Exemplare der Symmetrie betrachtet. Selbst dann würde diese Vorliebe allein noch nicht bedeuten, dass die heute lebenden Menschen weiterleben dürfen, frei und bei guter Gesundheit und mit Spaß am Leben.

Denken Sie wie eine KI. Selbst wenn die KI an den Menschen festhalten muss, sind die heute lebenden Menschen nicht die symmetrischsten Menschen, die es gibt. Die KI sollte in der Lage sein, ihre Präferenz für Symmetrie noch besser zu befriedigen, indem sie den symmetrischsten lebenden Menschen wiederholt klont oder "verbesserte" Menschen gentechnisch herstellt.

Ebenso ist es nicht die kostengünstigste Methode, diese Menschen einfach herumlaufen zu lassen, um sie am Leben und symmetrisch zu erhalten. Wahrscheinlich landen sie in Farmen. Durch die kostengünstige und platzsparende Unterbringung der Menschen kann die KI noch symmetrischere Menschen erschaffen.

Zum Vergleich: Die Menschheit hat derzeit keine effizientere Methode, Eier zu produzieren, als Hühner diese legen zu lassen. Infolgedessen haben Fabrikfarmen, deren Führungskräfte sich hauptsächlich um die Eierzahl kümmerten, die Hühner unter unglaublich unangenehmen Bedingungen gehalten, weil dies die kostengünstigste Methode war, um die meisten Eier zu erhalten.

Ähnlich waren die Hühner, die vor tausend Jahren existierten, nicht die effizientesten Eierleger, sodass die Bauern Hühner züchteten, die schneller Eier legten. Die Hühner vor tausend Jahren wuchsen nicht so schnell wie möglich zu möglichst viel Fleisch heran. Daher wachsen einigen modernen Hühnern heute Brüste, die so groß sind, dass sie nicht mehr laufen können.

Einige Menschen lehnen es ab, dass wir Hühner so behandeln, und diese Menschen üben Druck auf die Massentierhaltung aus, damit sie sich ändert, denn diese Menschen haben zusätzliche Präferenzen, die über die Präferenz für billige Eier hinausgehen. Damit dieser Druck bestehen kann, ist es notwendig, dass jemand mit einer gewissen Macht sich zumindest ein wenig um das Wohlergehen der Hühner kümmert, denn die gute Versorgung von Hühnern wird nicht allein durch die Präferenz motiviert, Eier zu gewinnen. Eine KI könnte theoretisch andere Präferenzen in Bezug auf Menschen haben, die sie dazu veranlassen, uns gut zu behandeln, aber diese würden nicht aus einer Präferenz für Symmetrie (oder Wahrheit, einfache Erklärungen oder andere Präferenzen, die nicht tatsächlich mit uns zu tun haben) resultieren.

Selbst Landwirte, die eine weniger unpersönliche Beziehung zu ihrem Vieh haben, verbieten ihren Tieren, sich nach Belieben zu paaren. Die Viehzucht ist ein ernstes Geschäft und hat zu großen Einfluss auf die zukünftige Rentabilität des Betriebs, als dass man die Bullen und Kühe einfach machen lassen könnte.

Und selbst diese Regelung wird nicht ewig Bestand haben. Die Herstellung von Rindfleisch aus Kühen ist auf landwirtschaftlichen Flächen sehr kostspielig, und eine Reihe von Start-ups versucht derzeit, Rindfleisch auf direktere Weise zu synthetisieren.

Synthetisches Fleisch ist auf unserem technologischen Niveau kein einfaches technisches Problem. Die Menschheit fängt gerade erst an, einen Teil dessen nachzuholen, was die natürliche Selektion in der organischen Chemie leistet. Aber wenn die Menschheit besser darin wäre, Atome neu anzuordnen, gäbe es viel weniger Kühe. Kühe sind nicht besonders unterhaltsam, wenn man sie nicht für Milch und Fleisch braucht.

Die Ausgangshypothese, dass eine KI mit fremdartigen Präferenzen die Menschen im Namen der "Symmetrie" für immer am Leben lassen würde, sieht also nicht gut aus. Selbst in dem unwahrscheinlichen Fall, dass die KI eine sehr seltsame Vorstellung von "Symmetrie" hat, die den Menschen einen sehr hohen Stellenwert einräumt, ist es viel schwieriger, eine Vorstellung von Symmetrie zu finden, die den Menschen als optimal betrachtet. So oder so sieht es für die Menschheit nicht gut aus.

Realistisch betrachtet würde eine symmetriebegeisterte Superintelligenz die Menschen nicht am Leben lassen; wenn sie uns am Leben ließe, gäbe es keine echte Chance, dass sie uns gesund, glücklich und frei halten würde. An diesem Punkt haben wir viel zu viele schön klingende Zufälle angehäuft. Wenn die KI sich speziell um unser Wohlergehen kümmern würde und uns aus diesem Grund glücklich sehen wollte, wäre das eine Sache. Aber sich vorzustellen, dass viel einfachere, leichter zu erreichende Ziele ausreichen, scheint eine Fantasie zu sein.

All diese Argumente gelten in gleichem Maße für "Erstelle einfach eine KI, die Wahrheit schätzt" oder "Erstelle einfach eine KI, die Schönheit schätzt". Es ist nur so, dass man sich in diesen Fällen leichter in der Fantasie verliert, weil Wörter wie "Wahrheit" und "Schönheit" intuitiv schöner klingen als "Symmetrie".

Wenn etwas als Slogan schön klingt ("Lasst die KI die Wahrheit über alles schätzen!"), dann ist die Versuchung groß, sich vorzustellen, dass dies als Strategie schöne Konsequenzen hätte. Die Versuchung besteht darin, sich vorzustellen, dass alle Tugenden zusammenpassen, sodass die Befürwortung einer guten Sache bedeutet, dass die anderen guten Dinge von selbst mitkommen. Aber die Natur und das maschinelle Lernen sind weniger gnädig.

Anstatt die Idee angenehm vage zu lassen, sollten wir uns überlegen, welche konkreten Messgrößen die Superintelligenz bei ihrer Suche nach "Wahrheit" optimieren könnte. Dann müssen wir feststellen, dass Menschen nicht das Maximum dieser Präferenz für das Erlernen von Wahrheiten darstellen. Sie werden nicht einmal annähernd daran herankommen.

Selbst in dem unwahrscheinlichen Fall, dass sich die KI speziell auf die Arten von Wahrheiten konzentrieren würde, die Menschen tendenziell ausdrücken (anstatt z. B. zufällige arithmetische Gleichungen), wäre der beste Weg, mehr von diesen Wahrheiten zu erhalten, nicht, Menschen in der Nähe zu behalten und sie zur Generierung von Gesprächen im menschlichen Stil zu nutzen.

Und so oder so würde die tatsächliche heutige Weltbevölkerung, die tatsächlich heute lebenden Menschen, Ihre Freunde, Ihre Familie, Sie selbst, nicht zu den billigsten und schmackhaftesten domestizierten "Wahrheitsproduzenten" gehören.

Glückliche, gesunde, freie Menschen, die ein blühendes Leben führen, sind für fast jedes Problem nicht die effizienteste Lösung. Damit eine KI uns am Leben und bei guter Gesundheit hält, muss sie sich zumindest ein wenig um uns kümmern.