Wir können es hoffen.

Zusätzliche Zeit kann von Bedeutung sein, aber nur, wenn die Menschheit sie nutzt, um ihren Kurs zu ändern.

In Teil III werden wir uns der Frage zuwenden, wie erschreckend unvorbereitet die Menschheit auf Superintelligenz ist und wie große Veränderungen notwendig sind, um die in der Geschichte von Sable dargestellten negativen Folgen zu verhindern.

Es gibt verschiedene Möglichkeiten, wie die Welt ein wenig sicherer vor bösartigen künstlichen Superintelligenzen werden könnte. Regierungen auf der ganzen Welt könnten verlangen, dass alle DNA-Syntheselabore nachweisen, dass sie nichts synthetisieren, was als gefährlich bekannt ist. Die Erde könnte große Anstrengungen unternehmen, um die Cybersicherheit des Internets radikal zu verbessern, sodass es für KIs schwieriger würde, Code in irgendwelchen dunklen Ecken zu verstecken.

Realistisch betrachtet würden jedoch selbst massive Anstrengungen in diesem Bereich wahrscheinlich nicht viel gegen eine feindselige KI helfen, die intelligenter ist als der Mensch. Und die enormen Anstrengungen, die erforderlich sind, um ein wenig mehr Sicherheit in diesem Bereich zu erreichen, sollten nicht mit den derzeitigen Bemühungen der Menschheit in dieser Richtung verwechselt werden, die weitaus geringer, viel leichter zu erreichen und für diesen Zweck völlig unwirksam sind.

Im Fall der DNA-Synthese: Selbst wenn die US-Aufsichtsbehörden verlangen würden, dass US-amerikanische DNA-Synthesizer die Synthese gefährlicher Materialien^* vermeiden, würde dann nicht ein Labor irgendwo anders auf der Welt verdächtige DNA für einen ausreichend hohen Preis synthetisieren? Und würden die Beschränkungen für die DNA-Synthese eine einfache schwarze Liste sein, die bekannte Viren (wie Pocken) ausschließt, oder würde dies eine intelligentere Analyse erfordern? Wie schwer wäre es für eine ausreichend intelligente KI, eine solche Analyse zu unterlaufen?

Oder, wenn es um Cybersicherheit geht: Viele führende Technologieunternehmen könnten versuchen, KI einzusetzen, um ihre eigenen Computernetzwerke gegen Angriffe zu schützen. Unterdessen ist das US-Telefonnetz leicht zu hacken, sodass ausländische Spione die Gespräche von US-Beamten mithören können, und die US-Aufsichtsbehörden haben Mühe, diese Lücke zu schließen. Dumme KIs könnten eine Reihe oberflächlicher Probleme mit der weltweiten Cybersicherheit finden und beheben, aber die Probleme sind ziemlich tiefgreifend. Künstliche Intelligenz, die intelligent genug ist, das gesamte Internet so zu überarbeiten, dass eine Superintelligenz keine Lücke mehr finden könnte, wäre mit ziemlicher Sicherheit selbst gefährlich.

Und selbst wenn die Erde das Internet und ihre DNA-Syntheselabore abschotten könnte, würde das langfristig nichts an der Situation ändern. Eine Superintelligenz, die über einen Kanal verfügt, um die Welt zum Guten zu beeinflussen, verfügt auch über einen Kanal, um die Welt zum Schlechten zu beeinflussen.

Eine böswillige Superintelligenz würde einfach einen anderen Kanal finden, der nicht gesperrt ist, beispielsweise indem sie ihre eigene Sekte oder Religion gründet. Oder indem sie Roboter kauft und diese dazu bringt, ihr eigenes geheimes Nasslabor zu bauen, in dem sie alle erforderlichen DNA-Synthesen durchführen kann. Oder, was vielleicht am wahrscheinlichsten ist, die KI würde einen Kanal finden, den wir heute noch nicht vorhersehen können, weil die KI eine Superintelligenz ist und wir nicht.

Die gesamte Welt gegen die offensichtlichsten und vorhersehbarsten KI-Angriffsvektoren zu wappnen, wäre die schwierigste Aufgabe, die die Menschheit jemals bewältigt hat. Es würde unglaubliche, langfristige und konzertierte Anstrengungen erfordern. Und es würde mit ziemlicher Sicherheit nicht funktionieren.

Realistisch gesehen können wir eine bösartige Superintelligenz nur stoppen, bevor sie geschaffen wird.