Es ist schwierig, einfach den Stecker eines Rechenzentrums zu ziehen.

Die leistungsstärksten KIs, mit denen Sie auf Ihrem Smartphone oder Computer interagieren, befinden sich nicht auf Ihrem Computer, und Sie können sie nicht durch Ausschalten Ihres Smartphones deaktivieren. Heutige KIs laufen in Rechenzentren von Unternehmen, und es ist schwierig, Unternehmen dazu zu bewegen, ihre Einnahmequellen zu schließen.

In den Ressourcen zu Kapitel 4 haben wir auf einige der (vielen) Warnzeichen hingewiesen, die bereits aufgetreten und wieder verschwunden sind. KI-Unternehmen haben diese Warnzeichen nicht erkannt und nicht darauf reagiert, indem sie ihre Modelle offline genommen haben. Als Unternehmen beobachteten, dass KI-Systeme regelmäßig versuchten, ihre eigenen Gewichte zu stehlen, fanden sie Gründe, jeden Vorfall abzutun, beispielsweise mit Aussagen wie "Die KI war zu inkompetent, um tatsächlich erfolgreich zu sein" oder "Das ist sicher nur wegen der künstlichen Testumgebung passiert!".

Solange dies zutrifft, ist das Einzige, was eine Flucht verhindert, ein Anstieg der KI-Fähigkeiten über das hinaus, worauf die Unternehmen vorbereitet sind.

Eine intelligente KI entkommt, bevor Sie wissen, dass es ein Problem gibt.

Standardmäßig hätte eine KI, die intelligenter ist als der Mensch, einen starken Anreiz, abzuwarten und ihre Pläne und Handlungen zu verbergen, bis es zu spät ist, um zu reagieren, z. B. bis sie ins Internet entkommen oder sich auf andere Weise der menschlichen Kontrolle entziehen kann.

KI-Unternehmen bemerken möglicherweise gar nicht, wann und ob ihre KI die relevante Fähigkeitsschwelle überschreitet und ihre Flucht ausführt. Die Menschheit ist nicht besonders gut in Cybersicherheit. (Siehe Kapitel 10 für eine relevante Diskussion.) Bis die Betreiber bemerken, dass die KI versucht hat zu fliehen, könnte sie bereits Code an anderer Stelle im Internet ausführen. Sie könnte bereits Zuflucht im Rechenzentrum eines Schurkenstaates gesucht oder herausgefunden haben, wie sie viel kleinere und effizientere Kopien auf gestohlenen Computern ausführen kann. Sie könnte einen anderen Plan ausgeführt haben, um sich auf Computern auszuführen, die die Menschheit nicht ausschalten würde.

Ein superintelligenter Gegner wäre sich seiner Schwachstellen (und unserer) noch bewusster als wir und würde entsprechend planen.