Ja.

Einige der einzigartigen Merkmale der Herausforderung des KI-Alignment werden es einfacher machen als beispielsweise den Bau eines Kernkraftwerks. Andere Merkmale werden es schwieriger machen. Insgesamt scheinen Kernwaffen und Kernkraftwerke dramatisch einfacher zu handhaben zu sein als eine KI, die intelligenter ist als der Mensch.

Fachleute weisen schnell darauf hin, dass KI selbst um Hilfe bei der Herausforderung des KI-Alignment gebeten werden kann. Wir glauben nicht, dass dies eine große Rolle spielen wird, da das Alignment einer Superintelligenz ein äußerst schwieriges Problem ist und wir keine gute Möglichkeit haben, Lösungen zu bewerten oder Fortschritte zu messen. Das bedeutet, dass KI bereits sehr leistungsfähig und sehr gut aligned sein müsste, um bei diesem Problem helfen zu können. Wir werden diesen Vorschlag in Kapitel 11 näher erläutern.

Ein weiterer Grund, warum das Alignment von KI einfacher sein könnte als der Bau von Kernkraftwerken, ist, dass Menschen einen relativ hohen Grad an Kontrolle darüber haben könnten, wie die von ihnen entwickelten KIs funktionieren. Man kann die Physik, die einen Kernreaktor regiert, nicht wählen, aber wenn Menschen KI entwickeln würden und genau wüssten, was sie tun, könnten sie rein theoretisch viele Entscheidungen über die kognitive Dynamik der KI treffen. Allerdings ist natürlich niemand in der Realität in der Praxis auch nur annähernd so weit, wie auch in Kapitel 2 diskutiert.

Was die Aspekte betrifft, in denen KI wahrscheinlich eine größere Herausforderung darstellt als frühere Probleme der Menschheit, wollen wir Superintelligenz mit Atomwaffen vergleichen. Wir glauben, dass dieser Vergleich zeigt, dass superintelligente KI aus mehreren Gründen ein weitaus heikleres Problem ist:

1. Atomwaffen sind nicht intelligenter als die Menschheit.
2. Atomwaffen sind nicht selbstreplizierend.
3. Atomwaffen verbessern sich nicht selbst.
4. Die meisten realistischen Szenarien eines Atomkrieges sehen nicht die vollständige Auslöschung der Menschheit vor, denn aller Wahrscheinlichkeit nach würden unter den Trümmern Menschen übrig bleiben, die den Wiederaufbau vorantreiben könnten.
5. Venture-finanzierte Unternehmen sind nicht damit beschäftigt, die weltweiten Atomwaffenvorräte jedes Jahr um das Zehnfache zu erhöhen.
6. Die Wissenschaft der Atomwaffen ist ziemlich gut verstanden. Ingenieure können vor dem Bau einer Atomwaffe ungefähr berechnen, wie stark sie sein wird, und sie wissen genau, welche Konzentration an spaltbarem Material erforderlich ist, um die Kettenreaktion auszulösen, die zu einer katastrophalen Detonation führt.
7. Atomwaffen machen keine eigenen Pläne. Wenn ein Land eine Atomwaffe baut, dann besitzt es diese Atomwaffe. Seine Wissenschaftler müssen sich keine Sorgen machen, dass die Atomwaffe ihnen weit überlegen sein wird und beschließt, dass sie lieber nicht mehr in ihrem Besitz sein möchte.
8. Die Welt ist sich im Allgemeinen einig, dass Atomwaffen, wenn sie gezündet werden, Menschen töten. Die Physikergemeinschaft ist nicht in philosophische Lager mit seltsamen Standpunkten gespalten, wie "Wenn jeder Einzelne seine eigene Atomwaffe hat, ist er nicht mehr der Gnade böser Menschen mit Atomwaffen ausgeliefert" oder "Keine Sorge, die Menschen werden einfach mit den Atomwaffen verschmelzen" oder "Ein Atomkrieg ist unvermeidlich, und deshalb ist es kindisch und albern, zu versuchen, ihn zu verhindern".
9. Atomwaffen sind schwer zu kopieren. Es gibt keine großen technologischen Bemühungen, eine rentable Technologie zu entwickeln, mit der jeder Atomwaffen herstellen kann, und wenn man eine Atomwaffe in einem Labor herstellt, kann man eine Woche später nicht 100.000 Kopien dieser Atomwaffe einsetzen.
10. Die großen Weltmächte betrachten einen Atomkrieg als reale Möglichkeit und als inakzeptables Ergebnis. Die Staats- und Regierungschefs der Welt setzen sich ernsthaft dafür ein, ihn zu vermeiden und selbst die egoistischsten unter ihnen wissen, dass ein Atomkrieg sie und ihre Familien töten und die Orte und Besitztümer zerstören könnte, die ihnen am meisten am Herzen liegen. Die Bürger und Wähler wollen keinen Atomkrieg. Die Menschheit ist so einig gegen einen Atomkrieg, wie sie noch nie zuvor in einer Frage einig war.

Schlimmer noch, wie in dem Buch und im ausführlichen Diskussionsabschnitt unten dargelegt, hat die Menschheit nur einen Versuch, um Superintelligenz richtig zu machen. Wenn ein Atomkraftwerk explodiert, können andere Menschen auf der Welt aus dem Geschehenen lernen und es beim nächsten Mal besser machen.

All diese Merkmale deuten darauf hin, dass Superintelligenz eine außergewöhnliche und neuartige Herausforderung darstellt. Es gibt zwar Analogien, aber diese sind nur in begrenztem Umfang anwendbar. Es gibt kein bewährtes Konzept für ASI.