Die Schwierigkeit liegt nicht nur im Zeitmangel, sondern auch in der Tödlichkeit von Fehlern.

"Wie lange würde es dauern?" ist eine unsichere Vorhersage, auch weil es etwas am Thema vorbeigeht. Wenn Forscher ein Problem auf unproduktive Weise angehen, können sie möglicherweise auf unbestimmte Zeit "feststecken", selbst wenn das Problem grundsätzlich schnell gelöst werden könnte. Es ist heute schwer zu sagen, wie es aussehen würde, um aus dieser Sackgasse herauszukommen und zuverlässige Fortschritte bei der Lösung des Problems zu erzielen, aber es scheint, als würde dies eine ziemlich radikale Veränderung der üblichen Vorgehensweise in Wissenschaft und Technik erfordern.

Wie werden Wissenschaft und Technik normalerweise betrieben?

Betrachten wir die Theorie, dass sich die Sonne um die Erde dreht, eine Ansicht, auf die sich die Denker der Antike um 500 n. Chr. einigten. Kopernikus schlug eine konkurrierende Theorie vor; diese Theorie wurde geprüft und weitgehend abgelehnt. Erst als Galileo ein Teleskop baute und die Monde des Jupiter sah, also Himmelskörper, die sich um den Jupiter statt um die Erde drehen, kam die aufstrebende wissenschaftliche Gemeinschaft zu dem Schluss, dass sich die Erde um die Sonne dreht.

Die Menschheit gelangte mit der Zeit zur richtigen Theorie der Orbitalmechanik. Zuvor kam sie jedoch zu einem falschen Konsens. Und sie hielt selbstbewusst an diesem falschen Konsens fest, bis die Realität Galileo mit der Tatsache konfrontierte, dass die Erde nicht der Mittelpunkt von allem ist.

Der übliche Prozess, durch den die wissenschaftliche Gemeinschaft zur Wahrheit gelangt, umfasst Schritte, in denen die wissenschaftliche Gemeinschaft falsch liegt und die Realität uns mit Beweisen über den Kopf schlägt, bis wir unsere Modelle aktualisieren.

Das Problem mit ASI-Alignment ist nicht nur, dass es sich um ein kniffliges Forschungsprogramm handelt. Es ist vielmehr, dass "die Realität der Menschheit die Tatsache vor Augen führt, dass ihre erste Lieblingstheorie fehlerhaft war" in diesem Fall so aussieht, als würde eine ASI den Planeten verschlingen. Es gäbe keine Überlebenden, die sich auf eine bessere Theorie für ASI-Alignment einigen könnten.

Wenn die Menschheit hundert Jahre Zeit und unbegrenzte Wiederholungsversuche hätte, hätten wir wahrscheinlich keine großen Schwierigkeiten, das ASI-Alignment-Problem zu lösen.

Aber selbst wenn wir dreihundert Jahre Zeit hätten, um eine Theorie der Intelligenz zu entwickeln, eine Theorie darüber, wie sich KIs verändern, wenn sie intelligenter werden, und eine Theorie darüber, wie man sie stabil und robust auf bestimmte Ziele ausrichtet ... nun, anstatt tatsächlich auszuprobieren, was passiert, wenn die KI ein paar Mal radikal intelligenter wird, würden wir sehr wahrscheinlich zu einer falschen Antwort gelangen.

Die Menschheit neigt dazu, zu solchen falschen Antworten zu gelangen, selbst in weitaus einfacheren Bereichen, wenn wir noch keine Gelegenheit hatten, einen entscheidenden Test durchzuführen.