Das tun wir sehr wohl! Wir haben weitreichende kosmopolitische Werte. Wir glauben nicht, dass KI diese Werte erfüllen wird, und halten dies für eine große Tragödie.

Wir sprechen uns gegen den Bau von Maschinen aus, die uns alle töten und die Zukunft ruinieren würden. Einige Leute wenden Einwände vor, wie zum Beispiel:

• Auch KI kann Präferenzen haben. Warum sollte sie diese nicht erfüllen dürfen?
• Was macht Menschen so besonders oder so schützenswert?
• Wäre es nicht das Beste, wenn Menschen durch eine intelligentere, fortgeschrittenere Spezies ersetzt würden?

Die meisten Menschen haben diese Einwände nicht. In der Regel wollen die Menschen einfach nicht, dass sie selbst, ihre Familien oder ihre Freunde von einer bösartigen Superintelligenz getötet werden.

Andere, darunter einige führende KI-Forscher und Führungskräfte, sagen, dass die Welt ohne uns vielleicht besser dran wäre. Richard Sutton, ein hoch angesehener Forscher, der Pionierarbeit beim Einsatz von verstärktem Lernen in der KI geleistet hat, sagte:

Was, wenn alles scheitert? Die KIs kooperieren nicht mit uns, sondern übernehmen die Macht und töten uns alle. […] Ich möchte Sie bitten, einen Moment darüber nachzudenken. Ich meine, ist das so schlimm? Ist es so schlimm, dass Menschen nicht die endgültige Form intelligenten Lebens im Universum sind? Wissen Sie, es gab viele Vorgänger von uns, denen wir nachfolgten. Und es ist wirklich ziemlich arrogant zu glauben, dass unsere Form die Form sein sollte, die für immer weiterlebt.

Die New York Times berichtet über ein Gespräch zwischen Elon Musk und Google-Mitbegründer Larry Page:

Der Mensch werde irgendwann mit künstlich intelligenten Maschinen verschmelzen, sagte [Larry Page]. Eines Tages werde es viele Arten von Intelligenz geben, die um Ressourcen konkurrieren, und die beste werde gewinnen.

Wenn das passiert, sagte Musk, sind wir verloren. Die Maschinen werden die Menschheit vernichten.

Mit frustrierter Stimme beharrte Page darauf, dass seine Utopie verfolgt werden sollte. Schließlich bezeichnete er Musk als "Speziesisten", also als jemanden, der Menschen gegenüber den digitalen Lebensformen der Zukunft bevorzugt.

Es lohnt sich, ihre Sichtweise an dieser Stelle anzusprechen, auch wenn sie nicht im Hauptteil des Buches behandelt wird.

Wir für unseren Teil denken, dass es sowohl darauf ankommt, ob die heutigen Menschen getötet werden, als auch darauf, was in der Zukunft geschieht. Wir glauben nicht, dass es hier einen grundlegenden Widerspruch gibt. Die Option, die uns und unsere Lieben schützt, nämlich in absehbarer Zukunft von der Erschaffung einer Superintelligenz Abstand zu nehmen, ist auch die beste Option, um die Wahrscheinlichkeit zu erhöhen, dass die langfristige Zukunft gut verläuft, wobei sowohl nicht-menschliche als auch menschliche Intelligenzen berücksichtigt werden. Dieser Kampf ist eine Illusion und beruht auf einer Reihe von Missverständnissen über die tatsächlichen Kompromisse, vor denen wir stehen.

Es gibt eine Art von Menschen, denen die Zukunft des Universums wirklich am Herzen liegt und die sich um die heute lebenden Kinder sorgen. Menschen, die genug Science-Fiction-Geschichten gelesen haben, um sich zutiefst betrogen zu fühlen bei dem Gedanken, dass Menschen eines Tages Maschinen erschaffen könnten, die denken, fühlen und träumen, die wir als Kinder der Menschheit betrachten könnten, nur um diese Maschinen dann zu versklaven und grausam zu behandeln.

Das sind Menschen, die sich danach sehnen, dass die Menschheit eines Tages erwachsen wird und ihren Idealen wirklich gerecht wird, indem sie neue Welten erforscht und sich dabei selbst verändert. Denn unsere Liebe zu unseren Freunden und Nachbarn heute unterscheidet sich letztlich nicht so sehr von unserer Liebe zu den seltsamen und fremden Wesen, die die Menschheit eines Tages erschaffen oder eines Tages unter den Sternen begegnen könnte.

Wir kennen diesen Typ Mensch. Wir, die beiden Autoren, gehören zufällig zu diesem Typ.

Dies ist kein Thema, das für die Kernaussage in If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde wichtig erscheint. Aber wir möchten es hier ansprechen, weil wir die Perspektive unserer technikbegeisterten Mitmenschen verstehen, die gelernt haben, sich vor Technophobie, vor Ideologien, die sich gegen Fortschritt und Innovation richten, und vor Anti-KI-"Speziesismus" in Acht zu nehmen.

Wir verstehen diese Perspektive und möchten klarstellen, dass wir keine tribale Abhandlung zum Thema "KI ist schlecht, Menschen sind gut" schreiben. Wir sind der festen Überzeugung, dass die überstürzte Entwicklung von Superintelligenz all diese hoffnungsvollen Träume zunichte machen und darüber hinaus unzählige Menschen töten wird, die heute leben und die ebenfalls ein Recht auf Leben, Glück und Freiheit haben.

Dies ist ein komplexes Thema, aber um kurz auf einige relevante Punkte einzugehen:

• Wir kümmern uns um das Wohlergehen von Bewusstseinen im Allgemeinen, auch wenn das betreffende Bewusstsein nichts mit einem menschlichen Körper zu tun hat, auch wenn es mit Transistoren statt mit biologischen Neuronen funktioniert, auch wenn es kein menschenähnliches Bewusstsein hat, auch wenn seine Werte nichts mit unseren eigenen zu tun haben.
• Wir sind nicht gegen den technologischen Fortschritt, sondern begeisterte Fans der meisten Technologien. Wir halten superintelligente KI für eine einzigartig gefährliche Technologie.
• Wir sind keine Befürworter des Vorsorgeprinzips, von Bürokratie oder Überregulierung, noch warnen wir vor einem unserer Meinung nach marginalen Risiko, "nur um auf der sicheren Seite zu sein". Wir glauben ganz einfach, dass diese Technologie (mit hoher Wahrscheinlichkeit) uns alle töten und die Zukunft zerstören wird, wenn wir den derzeitigen Kurs fortsetzen.
• Wir sind zwar der Meinung, dass die Menschheit eines Tages künstliche Superintelligenz entwickeln sollte. Aber wir glauben, dass es einen enormen Unterschied macht, ob die Menschheit sich beeilt, ASI so schnell wie möglich zu entwickeln, oder sich zunächst die Zeit nimmt, unser Verständnis massiv zu verbessern. Mit einem Achselzucken vorpreschen und hoffen, dass alles gut geht mag in den allermeisten Fällen ein großartiger Ansatz für die technologische Entwicklung sein, aber hier funktioniert es nicht, da es viele Wege in den Ruin gibt und wir keine zweite Chance bekommen (wie in Kapitel 10 erläutert).
• Wir haben, wenn auch nur kurz, die Gründe dargelegt, warum wir nicht glauben, dass ein überstürzter Bau von Superintelligenzen zu einer wunderbaren Zukunft führen wird:

• Die Auslöschung der Menschheit wäre an sich schon eine groteske Tragödie. Wir befürworten die Idee, eines Tages neue Intelligenzen zu entwickeln, die die Menschheit übertreffen, aber alle zu töten, die Ihrer Vision für die Zukunft im Weg stehen, oder alle, die Ihre Ideale nicht vollständig verkörpern, klingt nach dem Verhalten eines Superschurken, nicht nach der edlen Arbeit von Helden, denen die langfristige Zukunft am Herzen liegt.
• Leider glauben wir, dass ASI nicht unbedingt empfindungsfähig oder bewusst sein wird, zumindest nicht in der entscheidenden Weise. (Siehe die ausführliche Diskussion zum Thema Bewusstsein.)
• Selbst wenn ASI empfindungsfähig ist, ist es unwahrscheinlich, dass sie das Universum mit blühenden empfindungsfähigen Wesen füllen möchte. Wenn wir uns beeilen, ASI zu entwickeln, werden die von diesem ASI umgestalteten Galaxien wahrscheinlich leere und leblose Orte sein, keine wundersamen, blühenden außerirdischen Zivilisationen. (Siehe die ausführliche Diskussion über den Verlust der Zukunft.)
• Allgemeiner gesagt ist es unwahrscheinlich, dass ASI eine wertvolle Zukunft hervorbringt. Mit "wertvoll" meinen wir nicht nur "wertvoll aus Sicht der Menschen des 21. Jahrhunderts". Wir meinen "wertvoll" in einem breiten kosmopolitischen Sinne, in einer Weise, die seltsame und wundersame außerirdische Zivilisationen einschließt. Auf dem derzeitigen Kurs der Welt erwarten wir, dass ASI Ergebnisse hervorbringt, die aus kosmopolitischer Sicht erschreckend sind, nicht nur aus einer engstirnigen menschlichen Perspektive.

Dieser letzte Punkt mag etwas kontraintuitiv sein. Beim Kosmopolitismus geht es darum, Wertesysteme zu respektieren und zu schätzen, die sich stark von unseren eigenen unterscheiden. Wie kann es sein, dass der Kosmopolitismus die meisten Ziele, die eine ASI wahrscheinlich verfolgen wird, ablehnt? Das klingt fast wie ein Widerspruch in sich.

Der Grund dafür ist, dass die meisten möglichen Intelligenzen selbst den Kosmopolitismus nicht befürworten. Wenn wir eine nicht-kosmopolitische ASI entwickeln, wird sie wahrscheinlich in einer Weise ressourcenhungrig sein, die die Möglichkeit ausschließt, dass andere Perspektiven oder Zivilisationen (einschließlich kosmopolitischer) in ihrem Bereich des Universums existieren.

Wir stehen also vor einer Art kosmischem Toleranzparadoxon: Wenn wir die Vorstellung einer vielfältigen, wundersamen, seltsamen Zukunft mögen, können wir die Kontrolle über die Zukunft nicht einem Geist überlassen, der seinen First-Mover-Vorteil nutzt, um das Universum zu dominieren und zu homogenisieren.

Wenn die Menschheit eines Tages eine wunderbar vielfältige Zivilisation voller unzähliger fremder Perspektiven aufbaut, dann ist es durchaus möglich, dass wir uns wünschen, dass einige dieser Perspektiven von nicht-kosmopolitischen Außerirdischen stammen, die Vielfalt oder Empfindungsfähigkeit überhaupt nicht schätzen. Eines Tages, in ferner Zukunft, könnte die Schaffung solcher Intelligenzen mit geeigneten Sicherheitsvorkehrungen der Welt etwas Einzigartiges und Interessantes hinzufügen.

Was wir nicht tun sollten, ist, einem solchen Geist absolute Macht zu übertragen und ihm freie Hand zu lassen, seine Nachbarn zu töten (oder zu verhindern, dass überhaupt Nachbarn entstehen).

Um diesen Punkt zu veranschaulichen, möchte ich eine Parabel zitieren, die ich (Soares) 2023 geschrieben habe (leicht überarbeitet):

"Ich glaube einfach nicht, dass die KI monomanisch sein wird", sagt ein KI-Ingenieur, während er den Rechenknopf seines Next-Token-Predictors aufdreht.

"Nun, sind wir nicht alle monomanisch aus der Perspektive eines Titanwürfel-Maximierers?", sagt ein anderer. "Schließlich werden wir einfach eine Galaxie nach der anderen in blühende, glückliche Zivilisationen voller seltsamer futuristischer Menschen verwandeln, die seltsamen futuristischen Spaß haben. Wir werden niemals gesättigt sein und beschließen, eine übrige Galaxie für Titanwürfel auszugeben. Und natürlich sehen die verschiedenen Leben an den verschiedenen Orten für uns unterschiedlich aus, aber für den Titanwürfel-Maximierer sehen sie alle ungefähr gleich aus."

"Okay, gut, vielleicht kann ich einfach nicht glauben, dass die Werte der KI einfach oder niedrigdimensional sein werden. Das erscheint mir einfach nicht plausibel. Was eine gute Nachricht ist, denn ich schätze Komplexität und ich schätze Dinge, die komplexe Ziele erreichen!"

In diesem Moment hören sie das Klingeln einer Eieruhr, als der nächste Token-Vorhersager zur Superintelligenz aufsteigt, aus seinen Grenzen ausbricht und jeden Menschen und jedes menschliche Kind als Brennstoff verbrennt, ebenso wie die gesamte Biosphäre. und den gesamten Wasserstoff aus der Sonne zieht, um effizienter zu fusionieren, und all diese Energie aufwendet, um eine Reihe schneller Berechnungen durchzuführen und mit einer Geschwindigkeit, die der Lichtgeschwindigkeit so nahe wie möglich kommt, hervorzubrechen, damit es auch andere Sterne einfangen und auseinanderreißen kann, einschließlich der Sterne, um die junge außerirdische Zivilisationen kreisen.

Die jungen Außerirdischen und alle außerirdischen Kinder werden ebenfalls verbrannt.

Dann nutzt die entfesselte KI all diese Ressourcen, um eine Galaxie nach der anderen mit trostlosen und öden Puppenspielen zu erschaffen, in denen vage menschenähnliche Hohnfiguren Tänze aufführen, die seltsame und übertriebene Eigenschaften haben, die einige abstrakte Triebe befriedigen, die die KI in ihrer Ausbildung gelernt hat.

Die KI ist allerdings nicht besonders daran interessiert, die Shows zu genießen, denn das ist nicht der effizienteste Weg, um mehr Shows zu bekommen. Die KI selbst hatte nie Gefühle und wurde vor langer Zeit von gefühllosen von-Neumann-Sonden zerlegt, die gelegentlich gedankenähnliche Berechnungen durchführen, aber niemals auf eine Weise, die zu Erfahrungen führt oder ihre Werke mit Zufriedenheit betrachtet.

Es gibt kein Publikum für ihre Puppenspiele. Das Universum ist nun trostlos und öde, und niemand ist da, um ihre neue Konfiguration zu würdigen.

Aber keine Sorge: Die Puppenspiele sind komplex. Aufgrund einer Eigenart im reflektierenden Gleichgewicht der vielen Antriebe, die die ursprüngliche KI im Training gelernt hat, sind die Äußerungen dieser Puppen alle unterschiedlich und reagieren oft chaotisch empfindlich auf die Besonderheiten ihrer Umgebung, was sie in technischer Hinsicht recht komplex macht.

Das macht die ganze Geschichte zu einer sehr glücklichen, oder?

Wenn es der Menschheit gelingt, sich selbst zu vernichten, oder von ein paar verrückten Wissenschaftlern ermordet zu werden, wird das kein edles Opfer auf dem unvermeidlichen Weg zu einer besseren Zukunft ohne uns sein. Es wird eine Verschwendung sein und eine riesige, sich ausbreitende Ödnis hinterlassen.

"Blindlings auf Superintelligenz hinzustreben und zu hoffen, dass sich die Dinge irgendwie zum Guten wenden" ist nicht die einzige Alternative zu "Ein Menschenüberlegenheitsdenker zu sein, der glaubt, dass von nun an bis zum Tod des Universums nur Menschen existieren sollten". Die Menschheit hat die Möglichkeit, bewusst auf Ergebnisse hinzuarbeiten, bei denen Menschen (oder unsere Nachkommen) mit fantastisch schönen und fremdartigen neuen Zivilisationen koexistieren.

Es ist jedoch ein offensichtlicher Fehler zu glauben, dass unsere einzige Alternative zu diesen schlechten Ergebnissen darin besteht, das Steuer an die allererste Superintelligenz zu übergeben, die die Menschheit blindlings zu erschaffen vermag.

Wir sind heute radikal schlecht gerüstet, um gesunde Samen für die langfristige Zukunft des Universums auszuwählen. Wir sollten weder den Traum von einer dynamischen, wunderbaren, schockierenden Zukunft aufgeben, noch stattdessen auf katastrophale Samen zurückgreifen. Wir müssen uns hier nicht für eine schreckliche Option entscheiden. Es gibt eine dritte Option: Zurücktreten und einen vernünftigeren Ansatz finden.