Auch dieses Szenario endet in einer Katastrophe.

Wenn KI eine unbekannte kritische Schwelle überschreitet und ihre Intelligenz sehr schnell in die Höhe schießt, wird das Alignment besonders schwierig. Aber die Geschwindigkeit ist nicht die zentrale Schwierigkeit. Die zentrale Schwierigkeit liegt im Unterschied zwischen vorher und nachher.

Nehmen wir an, die Menschheit hätte mehrere Jahre Zeit, um sich mit KI zu "integrieren", die in etwa so allgemein wie ein Mensch ist.

(Forscher, die über "langsame" Fortschritte nach diesem Punkt diskutieren, gehen im Allgemeinen davon aus, dass wir höchstens ein paar Jahre Zeit hätten, bevor KI weitaus intelligenter und mächtiger als jeder Mensch wäre, nicht Jahrzehnte. Aber selbst wenn eine ernstzunehmende Gruppe von Forschern Jahrzehnte erwarten würde, ist es nicht offensichtlich, dass Jahrzehnte ausreichen würden.)

In diesen Jahren würden Forscher mehr darüber lernen, wie KI funktioniert. Sie würden verschiedene Probleme erkennen und verschiedene Workarounds oder Möglichkeiten zur Schadensminderung finden. Der Fortschritt der KI würde weitergehen, und irgendwann wären die KIs gemeinsam in der Lage, die Macht zu übernehmen. Dies folgt aus der Tatsache, dass die KIs in diesem Szenario immer intelligenter werden.

Zu diesem Zeitpunkt würden die Forscher über eine Reihe von Tricks und Hacks verfügen, die sie entwickelt haben, um KI, die nicht die Macht übernehmen kann, zuverlässiger und profitabler zu machen. Sie würden diese Reihe von bestehenden Tricks und Hacks benötigen, um sie auf KI zu übertragen, die die Macht übernehmen kann. Und sie würden dies benötigen, damit es beim ersten Versuch funktioniert.

Letztendlich werden ausreichend leistungsfähige KIs tödlich gefährlich sein, und wir können nur aus experimentellen Fehlschlägen lernen, die nicht tödlich sind. Dies scheint ein noch hoffnungsloseres Problem zu sein, wenn der Fortschritt der KI Schwellenwerteffekte aufweist, was wahrscheinlich ist. Das bedeutet jedoch nicht, dass es eine realistische Chance gibt, dass alles gut ausgeht, wenn wir eine enorme Anzahl undurchsichtiger, intelligenterer KIs entwickeln, dies aber langsam tun.

Ein Hinweis darauf, dass es irgendwo einen schwierigen Übergangspunkt geben muss, ist die Vorstellung einer Welt voller Milliarden superintelligenter KI, die den Menschen dienen, obwohl sie sich nicht wirklich für die Interessen der Menschen interessieren. In Wirklichkeit würde die Welt niemals einen solchen Zustand erreichen, vorausgesetzt, wir verwenden etwas wie modernes maschinelles Lernen, um die KI zu entwickeln, denn die Dinge würden viel früher aus dem Ruder laufen. Es ist jedoch schwierig, genau vorherzusagen, wann und wie dies geschehen wird. Die Betrachtung des Extremfalls macht deutlich, dass die Dinge irgendwann aus dem Ruder laufen würden.

Analog dazu: Wenn Ihre Stadt plant, Drachen zu versklaven, um ihre Felder zu pflügen und ihren Kaffee zu rösten, verschärfen sich einige Probleme, wenn die Drachen sehr schnell wachsen. Das Kernproblem ist jedoch nicht: "Was passiert, wenn die riesigen feuerspeienden Monster, die unsere Stadt mit einem einzigen schrecklichen Atemzug auslöschen könnten, schnell wachsen?"

Wenn Sie sich vorstellen, sich in einer Stadt voller unfreundlicher, ausgewachsener Drachen wiederzufinden, wird diese Situation sehr schnell eskalieren. Es wird schlecht ausgehen, selbst wenn Sie glauben, einen cleveren Plan zur Kontrolle dieser Drachen zu haben, wie ihnen ein Rechtssystem zu geben, das besagt, dass die Menschen den größten Teil des Eigentums besitzen, sodass sicherlich keine Drachenkoalition es wagen würde, ein alternatives Rechtssystem vorzuschlagen, aus Angst, dass ihre eigenen Rechte für ungültig erklärt werden könnten. Es würde sogar dann schlecht ausgehen, wenn Sie vorhätten, die Drachen geschickt gegeneinander auszuspielen, sodass kein Drache es wagen würde, Feuer zu speien, aus Angst vor den anderen Drachen. Wenn die Drachen voll ausgewachsen sind, würden sie sich alle gegenseitig ansehen, nicken und Sie dann rösten.

Wenn sich KIs relativ langsam entwickeln, könnte diese Zukunft für eine Weile interessant und seltsam werden, aber am Ende würden dennoch die KIs die Macht und die Ressourcen an sich reißen. Realistisch gesehen werden die Menschen nicht mithalten können. Sobald eine Gruppe dieser KIs in die Lage kommt, sich die Ressourcen des Planeten anzueignen, gibt es kein Zurück mehr. Entweder enthält diese Gruppe von KIs eine Komponente, die sich intensiv um glückliche, gesunde und freie Menschen kümmert, oder die Zukunft wird für uns schlecht verlaufen.