Glückliche, gesunde und freie Menschen sind nicht die effizienteste Lösung für fast jedes Problem.

Sobald man eine Superintelligenz ist, gibt es fast keine Probleme mehr, bei denen es von Vorteil wäre, Menschen mit einzubeziehen.

Wenn man ein Kraftwerk baut oder ein Experiment entwirft, werden Menschen einen nur ausbremsen.

Wir haben bereits gesehen, dass dies in engen Bereichen wie Schach der Fall ist. Wenn KI mit Menschen zusammenarbeitet, spielt sie besser als ein Mensch allein, aber schlechter als eine KI allein. Wenn Ärzte ihr Wissen mit KI kombinieren, um Patienten zu diagnostizieren, schneiden sie oft schlechter ab als die KI allein.

Einige argumentieren, dass eine Vielfalt an Perspektiven natürlich hilfreich ist und dass menschliche Beiträge daher in vielen Bereichen wertvoll sind. Aber selbst wenn wir davon ausgehen, dass dies für Superintelligenzen zutrifft, sind Menschen nicht der beste Weg, um vielfältige Ratschläge zu geben. Eine Superintelligenz könnte dies besser leisten, indem sie eine Vielzahl von KI-Geistern entwickelt, die weitaus vielfältiger sein könnten als Menschen (und deren Betrieb wesentlich energieeffizienter wäre).

Menschen sind für viele Dinge nützlich, aber sie sind nicht die beste Lösung für die meisten dieser Dinge. Die Vorstellung, dass KI niemals eine bessere Option finden könnte, scheint auf einem Mangel an Vorstellungskraft und vielleicht auch auf Wunschdenken zu beruhen.

Ein häufiges Problem ist, dass Menschen die Dinge nicht aus der Perspektive der KI durchdenken.

Sie fragen nicht: "Was will dieses Ding, und wie kann es mehr davon bekommen, kostengünstig und effizient?" und entdecken dann, dass die vom Menschen gewünschten Ergebnisse zufällig der beste Weg für die KI sind, um das zu bekommen, was sie will.^*

Stattdessen gehen die Menschen einfach von einem angenehmen Ergebnis aus (z. B. einer Welt, in der KI uns am Leben lässt) und denken sich dann nachträglich Geschichten aus, warum eine KI diese Ergebnisse auch wollen könnte.

Dies führt tendenziell zu einem falschen Gefühl des Optimismus, da man seine gesamte Kreativität und mentale Energie darauf verwendet, Geschichten zu erfinden, in denen die KI genau das tut, was Menschen wollen und keine dieser Kreativität, Energie oder Aufmerksamkeit darauf verwendet, die weitaus größere Anzahl von Szenarien zu berücksichtigen, in denen die KI stattdessen eine von einer Million anderer Dinge tut.

Es gibt weitaus mehr Szenarien, in denen KI buchstäblich alles andere tut, als Szenarien, in denen sie insbesondere eine blühende menschliche Zivilisation aufbaut. Es gibt weitaus mehr Gründe, die KI dazu bewegen, die Menschheit nicht zu erhalten, als Gründe, die KI dazu bewegen, sie zu erhalten. Damit eine KI sich die Mühe macht, die Menschheit am Leben zu erhalten, müssten wir für sie der beste Weg sein, um bestimmte Präferenzen zu erreichen, die sie hat. Und realistisch gesehen sind wir das für fast alle Präferenzen, die man sich vorstellen kann, nicht.

Weitere Informationen zu diesen Themen finden Sie in der entsprechenden ausführlichen Diskussion weiter unten.