Ist es nicht klüger, voranzueilen und sicherzustellen, dass die Guten die Führung übernehmen?
Nein.
Moderne KI-Techniken bringen keine KIs hervor, die das tun, was ihre Betreiber beabsichtigen (wie in Kapitel 4 erläutert). Die Lösung dieses Problems ist etwas, das die Menschheit normalerweise nur durch viel Ausprobieren erreichen kann, und wir haben hier keinen Spielraum für Fehler (wie in Kapitel 10 erläutert).
Darüber hinaus sind die derzeitigen KI-Ingenieure weit davon entfernt, dieser Aufgabe gewachsen zu sein, wie in Kapitel 11 erläutert. Den modernen KI-Ingenieuren fehlt es schmerzlich an dem wissenschaftlichen Verständnis, das für ein erfolgreiches KI-Alignment erforderlich wäre. KI-Forscher sind nicht mit den Betreibern des Kernreaktors von Tschernobyl zu vergleichen. Diese Betreiber arbeiteten mit einem Gerät, das theoretisch gut verstanden war und über sorgfältige Sicherheitshandbücher verfügte, die sie jedoch in einer Weise vernachlässigten, die zur Katastrophe führte. Es gibt kein KI-Sicherheitshandbuch, das auf einem umfassenden Verständnis der inneren Funktionsweise der KI und der möglichen Ursachen für Fehlfunktionen basiert. Wir sind hier nicht einmal annähernd auf dem Kompetenzniveau von Tschernobyl. Und Tschernobyl ist explodiert.
KI-Forscher fliegen blind und improvisieren, wobei sie fast keine Chance auf Erfolg haben.
In diesem Zusammenhang spielt es keine Rolle, ob die "Guten" oder die "Bösen" Superintelligenz entwickeln. Die Präferenzen der KI werden ihr nicht von demjenigen aufgezwungen, der ihr am nächsten steht.
Es spielt keine Rolle, wie gut ihre Absichten sind und wie vorsichtig sie angeblich sind. Es spielt keine Rolle, wer das Rennen "gewinnt". Wenn die Menschheit um künstliche Superintelligenz wetteifert, dann sterben wir alle.
Es ist nicht unmöglich, dies zu verhindern. Es ist vielleicht sogar gar nicht so schwer.
Wir werden im letzten Kapitel des Buches auf diesen Punkt zurückkommen.
Die Dinge ändern sich. Sie ändern sich vor allem dann, wenn ein verzweifelter, dringender und anerkannter Bedarf besteht. Das größte Hindernis für ein Stopp ist, dass die Staats- und Regierungschefs der Welt die Gefahr nicht erkennen. Und dieser Prozess hat bereits begonnen.