"Aligned mit wem?"
Das ist eine heikle Frage. Unabhängig von der Antwort müssen wir die Entwicklung stoppen.
Wenn die Menschheit eines Tages eine Superintelligenz entwickelt, sollten wir sicherstellen, dass diese mit den menschlichen Werten "aligned" ist. Aber mit den Werten welcher Menschen genau? Die Menschen sind sich sehr uneinig über Recht und Unrecht, über Religion, über soziale Normen, über politische Kompromisse usw.
Derzeit ist diese Frage irrelevant. Die Menschheit ist nicht in der Lage, bestimmte Ziele in eine KI zu integrieren, daher spielt es keine Rolle, ob Uneinigkeit darüber besteht, welche Ziele ideal wären. Wie wir ausführlich dargelegt haben, würde die überstürzte Entwicklung einer Superintelligenz uns alle umbringen. Die Menschheit ist sich in vielen Dingen uneinig, aber die meisten Menschen sind sich einig, dass die Zerstörung allen Lebens auf der Erde keine gute Sache ist.
Die Frage, welche Werte genau in eine KI geladen werden sollten, scheint ein heikles Problem zu sein. Es ist ein Problem, das wir, ehrlich gesagt, gerne hätten. Stattdessen stehen wir vor einem anderen, weitaus schlimmeren Problem.
Wir müssen uns überhaupt nicht darüber einig sein, (oder sogar darüber, ob die Menschheit jemals eine Superintelligenz entwickeln sollte), um uns auf ein internationales Verbot zu einigen, und zwar aus dem brutal einfachen Grund, dass wir sonst sterben werden. Es gibt unzählige interessante philosophische Fragen, die durch KI aufgeworfen werden, aber wenn wir uns davon übermäßig ablenken lassen, riskieren wir, dass unsere Kinder dabei ums Leben kommen.
Praktisch gesehen lautet unser Rat an die Staats- und Regierungschefs der Welt:
Trennen Sie die Frage "Sollten wir uns beeilen, Superintelligenz zu entwickeln?" von der Frage "Wenn wir irgendwie eine Möglichkeit hätten, Superintelligenz sicher zu entwickeln, was sollten wir dann damit tun?" und konzentrieren Sie sich zuerst auf die erste Frage. Die erste Frage ist die dringende und die, die heute umsetzbar ist. Die zweite Frage mag eines Tages wichtig sein, aber derzeit ist sie eine Falle, weil sie dazu verleitet, Superintelligenz als einen Preis zu betrachten. Die falsche Annahme, dass der Erste, der eine Superintelligenz entwickelt, entscheiden darf, was damit geschieht, würde uns in einen Selbstmordwettlauf führen.
ASI ist ein Selbstmordknopf und kein Flaschengeist. Wenn jemand eine Superintelligenz erschafft, "besitzt" er diese Superintelligenz nicht einfach. Vielmehr besitzt dann die gerade erschaffene Superintelligenz einen Planeten.
Wenn Sie aus irgendeinem Grund das Bedürfnis verspüren, in Zukunft das Thema "Wie sollte die Menschheit eines Tages Superintelligenz nutzen, wenn wir jemals in der Lage sind, dies zu tun?" anzusprechen, empfehlen wir dringend, Vorschläge oder Ideen zu vermeiden, die andere Akteure zu einem Wettlauf ermutigen würden (oder die Nationen dazu ermutigen würden, zukünftige internationale Abkommen über Superintelligenz abzulehnen oder zu verletzen). Alles, was einer "Der Sieger bekommt alles"-Dynamik ähnelt, birgt ein enormes Potenzial, die Welt zu gefährden.
Es gibt Vorschläge, wie man die heikle Frage "Aligned mit wem?" auf relativ universalistische Weise lösen kann, die versucht, allen potenziellen Interessengruppen gerecht zu werden und keinen Anreiz für einen Wettlauf bietet, z. B. der Vorschlag, eine KI so auszurichten, dass sie den kohärenten extrapolierten Willen der gesamten Menschheit verfolgt.* Aber selbst hier gibt es ein unendliches Potenzial für Auseinandersetzungen über die damit verbundenen Prinzipien und Kompromisse sowie die heiklen Details der Umsetzung. Diese Auseinandersetzungen wären in einer Welt, in der die Menschheit herausgefunden hätte, wie man eine Superintelligenz präzise und robust ausrichtet, wichtig zu klären, aber sie heute in den Vordergrund zu stellen, verzerrt die tatsächlichen Kompromisse, mit denen die Welt konfrontiert ist, und birgt die Gefahr, dass die Bemühungen um eine Koordinierung gemeinsamer Ziele wie die Vermeidung der Zerstörung der Erde scheitern.
Selbst wenn es um Fragen von enormer langfristiger Bedeutung geht, sollte nichts außer dem Überleben der Menschheit mit dem Überleben der Menschheit in Verbindung gebracht werden.
* Die kohärente extrapolierte Willenskraft ist unser eigener Versuch, die Frage „auf wen abgestimmt?“ zu beantworten, wenn wir an einen Punkt gelangen, an dem die Entwickler von KI-Systemen in der Lage sind, diese zu steuern. Der kohärente extrapolierte Wille versucht, moralische Meinungsverschiedenheiten und metamoralische Meinungsverschiedenheiten zu lösen, indem er die KI vor allem damit beauftragt, Bereiche zu identifizieren, in denen Menschen übereinstimmen würden, wenn sie mehr wüssten, wenn sie mehr die Art von Mensch wären, die sie gerne wären, und so weiter (in Anlehnung an die Theorien des idealen Beobachters in der Ethik), und nach gemeinsamen Metaprinzipien zu suchen, auf die die KI zurückgreifen kann, wenn es wirklich grundlegende moralische Meinungsverschiedenheiten gibt. (Dabei ist es nicht unbedingt das Ziel, dass die KI „alle Probleme” im menschlichen Leben löst, sondern nur so viele Probleme, dass das Endergebnis wahrscheinlich nicht katastrophal schlecht ausfällt.
Wir würden empfehlen, den Willen aller lebenden Menschen zu extrapolieren und das nicht, weil wir dies für eine Art Ideal halten, sondern weil es der offensichtliche Standardkoordinationspunkt ist, auf den sich viele uneinige Interessengruppen einigen können (und weil andere Wesen, die lebenden Menschen am Herzen liegen, durch den Willen dieser lebenden Menschen einen gewissen Einfluss erhalten. Dasselbe gilt für andere Wesen, die lebenden Menschen am Herzen liegen würden, wenn sie mehr wüssten und mehr so wären, wie sie sein möchten, usw.).
Aber um es noch einmal zu wiederholen: Wir betrachten dieses Thema derzeit hauptsächlich als Ablenkung. Es ist nicht wichtig, sich über diese hochrangigen philosophischen Ideen zu einigen, um Maßnahmen gegen eine Technologie zu ergreifen, die uns alle umbringen könnte. Es wäre äußerst töricht, die Nichtverbreitungsbemühungen durch Debatten über brillante Ideen wie diese zu gefährden und das einschließlich brillanter Ideen, die wir Autoren persönlich mögen.
Wir erwähnen diesen Vorschlag dennoch kurz, um deutlich zu machen, dass wir nicht versuchen, der Frage auszuweichen, und um vielleicht Leser zu beruhigen, die befürchten, dass es unmöglich sein könnte, jemals einen praktikablen Vorschlag zu finden. Selbst wenn die kohärente extrapolierte Willenskraft aus irgendeinem Grund der falsche hochrangige Ansatz ist, sollte die Tatsache, dass sie viele wünschenswerte Eigenschaften aufweist, Hoffnung wecken, dass es möglich ist, eine nicht katastrophale Antwort auf diese Frage zu finden.