Wir sagen, dass Regierungsbeamte das Problem ernst nehmen sollten.

Wir sehen nicht, wie Panik in dieser Situation helfen könnte. Panik hat weder dazu beigetragen, dass die Gesellschaft die Bedrohung durch den Faschismus während des Zweiten Weltkriegs überstanden hat, noch die Bedrohung durch die nukleare Vernichtung während des Kalten Krieges.

Die Verhinderung der Entstehung maschineller Superintelligenz ist ein Problem, das alle angeht. In Kapitel 13 diskutieren wir die nächsten Schritte, die die Welt unserer Meinung nach unternehmen sollte, um die Gefahr abzuwenden. Es genügt zu sagen, dass dieses Problem Koordination, Zusammenarbeit, Besonnenheit und reife Kommunikation erfordert.

Extreme Panikmache führt nicht zu guten Ergebnissen.

Manchmal werden wir gefragt, wie wir es ernst meinen können, wenn wir beispielsweise nicht begonnen haben, KI-Forscher anzugreifen. Die Antwort lautet, dass gewalttätige Ausbrüche die Lage nur verschlimmern würden. (Wenn Sie zu den naiven Utilitaristen gehören, die glauben, dass dies helfen würde, sollten Sie sich wahrscheinlich ganz von konsequentialistischen Überlegungen zurückziehen und sich an deontologische Regeln halten, wie wir bereits zuvor dargelegt haben.)

Wir sind keine Hardliner-Pazifisten, die glauben, dass eine Nation niemals in den Krieg ziehen sollte, egal aus welchem Grund, weil dabei Menschenleben auf dem Spiel stehen. Manche Dinge sind es wert, dafür Leben zu riskieren. Aber es besteht ein himmelweiter Unterschied zwischen "Ich bin kein Hardliner-Pazifist" und "Ich glaube, dass gewalttätige Ausschreitungen ein sinnvoller Weg sind, um sicherzustellen, dass die Welt dieses komplizierte Problem der technologischen Verbreitung gut bewältigt".

In der Regel werden diese schrecklichen Vorschläge von Menschen gemacht, die nicht wirklich glauben, dass KI kurz davor steht, uns zu vernichten, und die nicht wirklich versucht haben, die Welt aus dieser Perspektive zu betrachten. Es scheint ihnen nicht in den Sinn zu kommen, sich zu fragen, ob gesetzlose Gewaltakte tatsächlich helfen würden. (Trotz unserer Bemühungen, dies wiederholt zu verdeutlichen, wie beispielsweise im Anhang zu einem Essay von Yudkowsky.)

Wir sind keine Telepathen, aber es scheint uns, dass diese Art von KI-Katastrophenskeptikern Gewalt möglicherweise als eine Form des persönlichen Ausdrucks betrachten, als würde das Ausdrücken extremer Gefühle auf extreme Weise dazu führen, dass die Welt Ihnen gibt, was Sie wollen.

So funktioniert die Welt aber nicht. Wir leben nicht in einer Welt, in der jeder die Möglichkeit hat, seine Seele für den Erfolg seiner Unternehmungen zu verkaufen, und in der die meisten Menschen dies nicht tun, weil sie keine Unternehmung gefunden haben, die ihre Seele wert ist. Terrorismus ist kein magischer "Ich gewinne!"-Knopf, den die Menschen nur aus der Überzeugung heraus nicht drücken, dass es nicht richtig wäre. Der Unabomber hat es nicht geschafft, die Industrialisierung der Gesellschaft umzukehren.

Man kann seine Seele trotzdem mit Hass oder Gewalt zerstören, aber alles, was man dafür bekommt, ist eine noch zerbrochenere Welt. Eine Welt, in der der Diskurs noch vergifteter ist und in der die internationalen Koordinierungsleistungen, die zur Lösung dieses Problems erforderlich sind, dann noch schwieriger zu erreichen sind. Eine schreckliche Tat der Verzweiflung wird Ihnen keine schreckliche Macht als Teil eines faustischen Pakts verschaffen. Man kann sein Bestes versuchen, um seine Seele zu verkaufen, aber der Teufel kauft sie nicht.

Notes