Man kann sie alles versprechen lassen, was man will. Man kann sie aber nicht dazu bringen, ihre Versprechen zu halten.

Es stimmt, dass wir eine KI ausschalten können, solange sie noch klein und machtlos ist. Man könnte also meinen, dass es eine Verhandlungsmöglichkeit gibt, bei der wir der KI anbieten, sie intelligenter zu machen, wenn und nur wenn sie der Menschheit eine Reihe von schönen Dingen bietet, nachdem sie zu einer Superintelligenz herangereift ist.

Die Schwierigkeit bei diesem Plan besteht darin, dass wir nicht unterscheiden können zwischen einer KI, die dem Deal zustimmt, ihn aber nicht einhält, und einer KI, die dem Deal zustimmt und ihn auch einhält.

Das bedeutet wiederum, dass eine KI, die unmenschliche Ziele verfolgt, keinen Anreiz hat, sich tatsächlich daran zu halten, da die Menschheit Verräter und Vertragspartner gleich behandelt. Es macht also keinen Sinn, ein Vertragspartner zu sein.

Es gibt viele interessante Nuancen beim Thema Versprechen einhalten und Vereinbarungen treffen in der KI, auf die wir in der ausführlichen Diskussion weiter unten eingehen. Aber keine dieser Nuancen ändert etwas an dem sehr einfachen Ergebnis, nämlich dass man seinen Einfluss auf eine schwache KI nicht nutzen kann, um die Optionen einzuschränken, die eine KI haben wird, wenn sie zu einer Superintelligenz geworden ist. Die offensichtliche Antwort, dass eine KI, sobald sie zu einer Superintelligenz herangereift ist, keinen Grund mehr hat, ihr Wort zu halten, wenn dies mit hohen Kosten für ihre eigenen Pläne verbunden ist, erweist sich hier als die richtige.