Weil wir nicht über die technischen Fähigkeiten verfügen, um sie sicher zu entwickeln.

Wir haben dies in unserem Buch angesprochen, wo wir darauf hingewiesen haben, dass eine internationale Zusammenarbeit immer noch ein internationales Verbot überall sonst erfordert (da die internationalen Kooperationspartner sonst nicht die Zeit hätten, die sie benötigen). Wenn wir davon ausgehen, dass die Erde ein internationales Verbot einführt, was spricht dann gegen ein einheitliches, kooperatives Forschungsinstitut?

Der Nachteil ist, dass eine internationale Zusammenarbeit von Alchemisten genauso wenig wie ein einzelner Alchemist Blei in Gold verwandeln kann. Selbst der beste Plan, auf den sich alle Alchemisten einigen, wird nicht zum Erfolg führen.

In diesem Zusammenhang befürchten wir, dass die Leiter eines solchen internationalen Instituts Bürokraten sein könnten, die die Genehmigung von Forschungsvorhaben als Teil ihrer Arbeit betrachten. Oder von solchen, die es als ihre Aufgabe ansehen, die Forscher dazu anzuhalten, immer brillantere medizinische Fortschritte zu erzielen. Oder von solchen, die es für schlecht halten, all den optimistischen KI-Enthusiasten, die brillante Ideen für den Bau einer noch leistungsfähigeren maschinellen Intelligenz haben, deren Sicherheit sie garantieren, eine Absage zu erteilen.

Wir befürchten, dass ein solcher Leiter das internationale Zentrum anweisen würde, immer intelligentere KI zu entwickeln, und dann würden alle sterben.

Selbst wenn das Mandat der Organisation nominell erlaubt, sich zurückzuziehen, wenn die Forschung gefährlich erscheint, würde es wahrscheinlich einen seltenen und mutigen Menschen erfordern, um Jahr für Jahr, ohne Ausnahmen, über Jahrzehnte hinweg zu Tausenden von verschiedenen Forschungsvorschlägen "Nein" zu sagen. Und das alles, während die KI-Wissenschaftler weiterhin unermesslichen Reichtum, ein Heilmittel gegen Krebs und alle möglichen technologischen Wunder versprechen, wenn die Organisation nur ihre Bedenken zurücknehmen würde.

Wir haben unser Leben damit verbracht, uns mit maschineller Intelligenz zu beschäftigen, nicht mit der Kultur von Institutionen und Bürokratien, daher sind wir hinsichtlich unserer Vorhersagen in diesem Bereich weniger zuversichtlich. Dennoch haben wir Geschichtsbücher gelesen.

Die Betreiber von Tschernobyl setzten ihren katastrophalen Sicherheitstest fort, weil er bereits dreimal abgebrochen worden war. Ein vierter Abbruch wäre peinlich gewesen.

Kaum drei Monate vor der Katastrophe von Tschernobyl hatte die NASA das Space Shuttle Challenger zu seinem letzten, tödlichen Flug gestartet, weil die Verantwortlichen der Meinung waren, ihre Aufgabe sei es, Space Shuttles zu starten. Der Start war bereits dreimal verschoben worden. Ein vierter Abbruch wäre peinlich gewesen.

Wenn man sich Tschernobyl und Challenger so anschaut, scheinen drei Verzögerungen die Grenze des menschlich Erträglichen zu sein. Angenommen, die Erde richtet eine internationale KI-Kooperation ein, und ein "KI-Sicherheitstest" schlägt dreimal fehl. Realistisch gesehen sind Menschen Wesen, die trotz einiger nagender Zweifel beim vierten Mal auf "Start" drücken würden, weil das weniger peinlich ist, als den Test erneut zu verschieben. Nur dass im Falle der KI nicht nur die Stadt Tschernobyl ausgelöscht oder eine Besatzung von Astronauten getötet würde. Es würde alle Menschen töten.

Wir sind voll und ganz davon überzeugt, dass die Menschheit irgendwann eine KI entwickeln sollte, die intelligenter ist als der Mensch.^* Aber die übereilte Einrichtung eines internationalen KI-Forschungszentrums wird der technischen Herausforderung, vor der wir stehen, nicht gerecht.

Angesichts des miserablen Wissens- und Kompetenzstands der Menschheit in diesem Bereich spielt es keine Rolle, wer dafür verantwortlich ist. Wenn irgendjemand sie entwickelt, sterben alle.

Notes