KIs könnten sich untereinander koordinieren, ohne Menschen einzubeziehen.

Es ist für uns nicht offensichtlich, ob es mehrere KI geben wird, die intelligenter als Menschen sind und über vergleichbare Fähigkeiten verfügen, sodass eine "KI-Zivilisation" entstehen könnte, die "KI-Eigentumsrechte" benötigt. Es erscheint plausibel, dass es stattdessen eine einzige KI geben wird, die dank eines Durchbruchs potenzielle Konkurrenten mit ihrem First-Mover-Vorteil dominiert und damit die ganze Welt kontrolliert.^* Oder, angenommen, es gibt mehrere KIs, könnten sie zusammenarbeiten, um einen einzigen Nachfolger zu entwickeln, der die Kombination ihrer Ziele repräsentiert. Oder vielleicht finden KIs einen Weg, ihre Gedanken direkt zu verschmelzen, und wollen dies tun, um kostspieligen Wettbewerb zu vermeiden.

Wir sagen nicht, dass zwangsläufig eine einzige, dominante KI entstehen wird, sondern dass dies eine schwierige Entscheidung zu sein scheint. Zumindest ist ein Plan, der erfordert, dass mehrere KIs sich um eine Koordinierung untereinander bemühen, kein guter Anfang.

Nehmen wir jedoch entgegen den oben genannten Argumenten an, dass es in Zukunft so etwas wie eine KI-Zivilisation geben wird, in der verschiedene KIs zusammenarbeiten, um so etwas wie Eigentumsrechte und Rechtsstaatlichkeit durchzusetzen. Wären die Menschen dann sicher?

Eine grundlegende Beobachtung, die dagegen spricht, ist, dass die menschliche Gesellschaft keinen nicht-menschlichen Tieren Rechtsansprüche oder Schutz gewährt, abgesehen von denen, die gemäß unseren Werten und Vorlieben festgelegt wurden, wie beispielsweise die sehr begrenzten Gesetze zum Schutz von Ökosystemen und Haustieren. Die Menschen haben die Eigentumsrechte der Dodo-Vögel nicht respektiert. Bis vor relativ kurzer Zeit haben wir nicht einmal die Eigentumsrechte von Menschen aus anderen Kulturen respektiert.

Menschen werden nicht die Fähigkeiten haben, uns für den Handel oder Verträge wertvoll zu machen, im Vergleich zu schnell denkenden übermenschlichen Intelligenzen, die uns als wenig mehr als Statuen betrachten (wie in Kapitel 1 diskutiert).^†

Stellen Sie sich zwei KI vor, die untereinander verhandeln und sagen: "Das gehört mir und das gehört dir, und keiner von uns wird die Dinge des anderen antasten, ohne vorher eine Art von für beide Seiten vorteilhaftem Handel auszuhandeln." Es besteht für sie keine Notwendigkeit, zu beschließen, dass die meisten Ressourcen auf der Erde den Menschen "gehören", wenn die Menschen keine große Bedrohung darstellen und sich nicht sonderlich wehren können.

Könnte eine KI befürchten, dass die andere KI sie als Dieb betrachtet und die Zusammenarbeit verweigert, wenn sie unsere Sachen stiehlt? Höchstwahrscheinlich nicht. Genauso wenig, wie Sie einen Menschen als Dieb bezeichnen würden, wenn Sie sehen würden, wie er Eier aus seinem Hühnerstall nimmt. Es ist durchaus möglich, dass KI-Systeme Wesen sind, die die Eigentumsrechte von Menschen verletzen, aber nicht die Eigentumsrechte von KI-Systemen, ohne dass dies zu Spannungen oder Widersprüchen führt. Und alle KI-Systeme würden dieses Ergebnis wahrscheinlich einer gemeinsamen Halluzination vorziehen, in der sie sich vorstellen, dass langsame, dumme Primaten fast alles auf der Erde kontrollieren.

Einige technische Überlegungen stützen dieses intuitive Argument nachdrücklich. Insbesondere werden KI wahrscheinlich über verschiedene Koordinationsmechanismen untereinander verfügen, die sie nicht mit Menschen teilen, wie beispielsweise die Fähigkeit, gegenseitig die Gedanken des anderen zu überprüfen, um sicherzustellen, dass sie ehrlich und vertrauenswürdig sind. Sie müssen möglicherweise nicht raten, ob eine andere KI sie bestehlen wird, sondern können deren Gedanken überprüfen und sich vergewissern.

Selbst wenn das schwierig ist, könnten KI sich selbst so umgestalten, dass sie für andere KI sichtbar und erkennbar vertrauenswürdig sind. Oder sie könnten gemeinsam die Konstruktion einer dritten KI überwachen, der beide Seiten vertrauen, dass sie ihre gemeinsamen Interessen vertritt, und so weiter.^‡

Menschen hingegen können solche Vereinbarungen nicht treffen. Wenn eine KI sagt: "Klar, lassen Sie uns gemeinsam die Entwicklung einer neuen KI überwachen, der wir beide vertrauen", sind Menschen wahrscheinlich nicht kompetent genug, um selbst ein vertrauenswürdiges Design für den Verstand vorzuschlagen, und wir sind auch nicht kompetent genug, um den Unterschied zwischen Vorschlägen, die uns betrügen, und solchen, die das nicht tun, zu erkennen. Selbst wenn es eine natürliche Gruppe von Menschen gibt, die kompetent genug sind, um Betrüger zu identifizieren und abzulehnen, halten wir es für äußerst unwahrscheinlich, dass die Menschheit zu dieser Gruppe gehört.

Menschen werden nicht über die Mittel verfügen, um Eigentumsrechte durchzusetzen.

Angenommen, jemandem gelang es, eine Stadt zu gründen, in der am ersten Tag der Stadtgründung alle wichtigen Entscheidungen von Mäusen getroffen werden sollten.

Es handelt sich dabei um echte Mäuse, wohlgemerkt, nicht um Figuren aus einem Märchenbuch, die wie Mäuse aussehen, aber wie Menschen denken.

Die Menschen in der Stadt waren laut Gesetz verpflichtet, alle Entscheidungen der Mäuse zu befolgen, auch beispielsweise solche, die von den Mäusen getroffen wurden, indem sie über ein Brett mit verschiedenen Optionen liefen.

Die Gesetze der Stadt besagten, dass der größte Teil des Eigentums in der Stadt den Mäusen gehörte und zum Wohle der Mäuse genutzt werden musste.

Was würde als Nächstes passieren? Im wirklichen Leben?

Wir würden vorhersagen, dass diese Stadt in einen Zustand geraten würde, in dem die Mäuse wenig oder gar keine echte Macht mehr hätten und die Menschen fast die gesamte Macht inne hätten.

Man muss nicht den genauen Tag der Revolution in dieser Stadt oder ihre genaue neue Regierungsform vorhersagen, um zu erkennen, dass die Situation, in der Mäuse Menschen befehligen, nicht stabil ist. Man muss nur feststellen, dass sich die Stadt in einer seltsamen Situation des Ungleichgewichts befindet. Man kann also vorhersagen, dass es später eine Stadt mit anderen Gesetzen geben wird, in der die meisten Grundstücke nicht mehr im Besitz von Mäusen sind.

Diese Art von Vorhersage ist nicht sicher. In menschlichen Argumenten gibt es nur sehr wenig, was sicher ist. Aber es ist auch eine Art von Vorhersage, die selbst dann genau getroffen werden kann, wenn es unmöglich ist, die genauen zukünftigen Ereignisse vorherzusagen.