Nein.

Wir plädieren nicht dafür, dass die Menschheit auf einen buchstäblichen Beweis dafür wartet, dass eine künstliche Superintelligenz gut sein wird, oder ähnliches. Ein solcher Beweis ist wahrscheinlich selbst im Prinzip nicht möglich, geschweige denn in der Praxis. Wie Einstein in seinem Vortrag "Geometrie und Erfahrung" von 1921 sagte: "Soweit sich die Gesetze der Mathematik auf die Realität beziehen, sind sie nicht sicher und soweit sie sicher sind, beziehen sie sich nicht auf die Realität."

Jeder vermeintliche Beweis darüber, wie sich eine KI in der realen Welt verhalten wird, garantiert nicht das tatsächliche Verhalten der KI, da wir uns möglicherweise über die Funktionsweise der realen Welt irren.

Das gilt bereits heute für Computer. Man könnte beispielsweise denken, dass, wenn jemand einen mathematischen Beweis dafür hat, dass es gemäß dem theoretischen Verhalten von Transistoren und dem Schaltplan eines Computers unmöglich ist, dass ein Computerprogramm den Speicher in Zelle Nr. 2 verändert, das Computerprogramm den Speicher in Zelle Nr. 2 nicht verändern kann. Bei einem "Rowhammer-Angriff" werden jedoch die Speicherzellen Nr. 1 und Nr. 3 auf beiden Seiten der geschützten Speicherzelle schnell geändert, sodass die Zelle Nr. 2 in der Mitte elektromagnetisch gestört wird und ein Teil des Computerspeichers geändert wird, ohne dass jemals direkt darauf geschrieben wird. Reale physikalische Transistoren sind keine mathematisch perfekten Transistoren, und Beweise, die in der Theorie beruhigend wirken, sind in der Praxis nicht immer von Bedeutung.

Wir verlangen keinen mathematischen Beweis dafür, dass alles gut gehen wird. Es ist nicht möglich, einen solchen Standard im wirklichen Leben zu erfüllen, und selbst wenn es möglich wäre, wäre es wahrscheinlich die Kosten nicht wert. Wir befürworten es, wenn die Gesellschaft gerechtfertigte Risiken eingeht. Unser Argument ist nicht, dass es ein kleines Risiko gibt, das schwer zu beseitigen ist, sondern dass eine extreme Gefahr auf uns zukommt.

Die Entwicklung einer künstlichen Superintelligenz, die von Trieben angetrieben wird, die nur am Rande mit den Absichten ihres Betreibers zu tun haben, ist etwas, das von vornherein schiefgehen kann. Es ist nicht so, dass es eine geringe Wahrscheinlichkeit gibt, dass etwas schiefgeht, aber wir sollten diesem Risiko aus Vorsicht Beachtung schenken. Das Buch trägt nicht den Titel "Wenn jemand sie baut, besteht eine winzige Chance, dass wir alle sterben, aber selbst eine winzige Chance ist es wert, gemindert zu werden". Wenn wir mit diesem Wissens- und Fähigkeitsstand vorpreschen, werden wir vorhersehbar alle sterben, weil wir noch weit davon entfernt sind, freundliche, weit übermenschliche KIs zu schaffen.

Wäre KI mit Autos vergleichbar, würden wir nicht sagen: "Dieses Auto hat defekte Sicherheitsgurte und Airbags. Halten wir aus Vorsicht an."

Wir würden sagen: "Dieses Auto rast auf eine Klippe zu. Halt an."

Es geht nicht um "Sicherheitsnachweise". Es handelt sich nicht um ein "tail risk". Wissenschaftler sind nicht bereit, sich dieser Herausforderung zu stellen. Wir würden einfach sterben.