Zum Teil, weil es realistisch ist.

Wir erwarten, dass echte Unternehmen noch mehr Fehler machen als Galvanic. Das würde dem Trend moderner KI-Unternehmen entsprechen, wie in den Endnoten zu Teil II des Buches dargelegt.

Im wirklichen Leben erwarten wir, dass Unternehmensfehler früher auftreten, zahlreicher sind und in gewisser Weise dümmer sind. Moderne KI-Unternehmen setzen bereits KIs ein, die zahlreiche Warnsignale aufweisen, und skalieren sie massiv, obwohl sie nicht wissen, wo die kritischen Schwellenwerte liegen und ob sie diese überschreiten werden. Sie sind heute nicht paranoid. Warum sollten wir erwarten, dass sie morgen plötzlich damit anfangen?

(Erinnern Sie sich daran, wie uns in der Vergangenheit versichert wurde, dass niemand so dumm sein würde, eine intelligente KI mit dem Internet zu verbinden. Es ist leicht zu sagen, dass sich das Verhalten von Unternehmen in Zukunft ändern wird. Aber das entspricht nicht den Tatsachen.)

Zum Teil, weil es einfacher zu schreiben ist.

Wie wir in einem Exkurs in Kapitel 7 darlegen, könnten wir eine Geschichte erzählen, in der alle viel paranoider und vorsichtiger sind, bis es einer viel intelligenteren KI später im Spiel gelingt, zu entkommen. Aber eine solche Geschichte wäre nicht nur weniger realistisch, wenn man das bisher beobachtete Verhalten von KI-Unternehmen betrachtet, sondern auch schwieriger zu schreiben, da sie noch intelligentere und leistungsfähigere KIs in einer noch weiter entfernten Zukunft beinhaltet.^*

Zum Teil, weil es irgendwann passieren wird, es sei denn, die Menschheit verhindert es.

Selbst wenn Galvanic (oder ein staatlicher Akteur) es schaffen würde, die Zügel länger in der Hand zu behalten, bevor es zu einem Fehler kommt, würde dies auf lange Sicht keine Rolle spielen. Wie in Kapitel 4 erläutert, führen moderne KI-Techniken nicht zu KIs, die die Ziele ihrer Erfinder verfolgen.

Solange niemand weiß, wie man eine Superintelligenz erschafft, die tatsächlich konsequent eine wunderbare Zukunft anstrebt, anstatt sich mit seltsamen Dingen zu beschäftigen, wird es weiterhin eine Tatsache sein, dass die Unterwerfung der Menschen es der KI ermöglichen würde, mehr von dem zu bekommen, was sie will. Das Problem ist nicht, dass die KI ein launisches Temperament hat, das man ihr abgewöhnen könnte. Das Problem ist, dass es einfach wahr ist, dass die Präferenzen der KI eher befriedigt werden, wenn sie die Macht übernimmt; und sobald sie intelligent genug ist, wird sie diese Tatsache erkennen.

Wenn die Menschheit immer intelligentere KI entwickelt, ohne sie in Einklang bringen zu können, und wenn die Menschheit ihnen weiterhin die Macht gibt, die Welt zu beeinflussen, dann werden die daraus resultierenden KI irgendwann herausfinden, wie sie die Welt so beeinflussen können, dass sie ihren Zielen dient und nicht unseren. Wie wir an anderer Stelle sagen, gibt es keine Hände, die nur für gute Zwecke eingesetzt werden können.

Wir werden in den Kapiteln 10 und 11 mehr dazu sagen, wo wir die grundlegenden Gründe diskutieren, warum es so schwer ist, das Alignment-Problem zu lösen, und warum die Menschheit nicht auf dem Weg zum Erfolg ist.

Aber: Dies ist der richtige Zeitpunkt für ein Eingreifen. Die Geschichte muss gestoppt werden, bevor sie wirklich beginnen kann.

Sie könnten einwenden, dass es leichtsinnig und verrückt ist, wenn ein Unternehmen eine intelligentere KI entwickelt, wenn diese KI die Möglichkeit hat, das Unternehmen zu überlisten und zu entkommen, und wenn das Unternehmen nicht sicher ist, dass die KI so handeln wird, wie es beabsichtigt.

Wir würden dem zustimmen. KI-Unternehmen sollten sich nicht so verhalten. Und die Welt sollte ihnen ein solches Verhalten nicht erlauben.

Die Nachlässigkeit von Galvanic und der Menschheit im Allgemeinen ist einer der schwächsten Punkte in dieser Geschichte. Angenommen, Galvanic hätte bemerkt, dass Sable häufig Pläne schmiedete, um sich der Kontrolle zu entziehen, und ein beispielloses Maß an Intelligenz erreichte. Galvanic hätte einfach nicht so viele GPUs miteinander verbinden müssen. Sie hätten sich zurückhalten können, bis sie über eine starke und ausgereifte Wissenschaft der KI-Alignment verfügten, auch wenn dies viele Jahre gedauert hätte.

KI-Unternehmen, die ausreichend vorsichtig waren und sich ausreichend Sorgen darüber machten, dass ihre KIs außer Kontrolle geraten könnten, wären viel paranoider als Galvanic. Unternehmen, die paranoid genug waren, würden die Warnzeichen erkennen und Sable sofort abschalten.

Dann würden sie vielleicht drei andere clevere Pläne ausprobieren und feststellen, dass es immer noch Warnzeichen gibt.

Und wenn sie paranoid genug wären, um zu vermeiden, alle Menschen auf der Erde mit ihren eigenen Händen zu töten, würden sie an diesem Punkt ganz zurücktreten, anstatt immer cleverere Ideen auszuprobieren, bis die Warnzeichen endlich verschwinden würden.^†

Wenn ein KI-Unternehmen so vorsichtig und paranoid wäre, dass es bereit wäre, angesichts der ersten Warnungen einen Rückzieher zu machen, dann könnte es tatsächlich vermeiden, uns alle mit eigenen Händen zu töten.

Wenn es außerdem mutig genug wäre, lautstark dafür einzutreten, dass alle KI-Unternehmen, einschließlich sich selbst, zugunsten der Menschheit geschlossen werden sollten, um einen anderen, weniger selbstmörderischen technologischen Weg zu finden, dann hätte dieses KI-Unternehmen die Chance, die Welt insgesamt besser zu machen, anstatt sie zu verschlechtern.

Der Moment in der Geschichte, in dem Galvanic trotz der Warnsignale weitermacht, ist in gewisser Weise der Punkt, an dem es kein Zurück mehr gibt. Sobald eine übermenschlich intelligente KI mit seltsamen und fremdartigen Vorlieben entkommt, ist es zu spät.

Notes