Leider ist die Welt groß genug für mehrere Probleme.

Atomkrieg und Bioterrorismus sind reale Bedrohungen. Leider ist auch maschinelle Superintelligenz eine reale Bedrohung. Die Welt ist groß und problematisch genug für alle drei.^*

Die Bedrohung durch Superintelligenz unterscheidet sich von vielen anderen Bedrohungen, denen die Menschheit ausgesetzt ist, und scheint einzigartig dringlich zu sein. Ein Unterscheidungsmerkmal ist, dass ein erheblicher Teil der Weltwirtschaft dafür aufgewendet wird, KI immer leistungsfähiger zu machen. Im Gegensatz dazu: Obwohl Biosicherheit ein ernstes Thema ist, investieren Investoren keine Dutzende Milliarden Dollar in die Entwicklung von Superviren. Supervirus-Ingenieure verdienen keine Millionen oder Dutzende Millionen (oder manchmal sogar Hunderte Millionen) Dollar pro Jahr.

Die Welt bemüht sich um die Entwicklung der Kernenergie, aber Kernkraftwerke sind eine ganz andere Technologie als Kernwaffen. Wir leben nicht in einer Welt, in der private Unternehmen mit enormen Investitionen und Talenten darum wetteifern, immer größere Kernwaffen zu bauen. Wenn dies der Fall wäre, wäre das Risiko eines Atomkrieges viel größer.

KI ist ebenfalls eine heiklere Angelegenheit, da sie großen Reichtum und Macht verspricht, bis sie eine kritische Schwelle überschreitet, an der sie alle Menschen tötet. Und niemand weiß, wo diese Schwelle liegt.

Stellen Sie sich vor, Atomkraftwerke würden immer profitabler, je mehr das von ihnen verwendete Uran angereichert würde, aber bei einer unbekannten Anreicherungsschwelle würden sie explodieren und die Atmosphäre entzünden, wodurch alle Menschen getötet würden. Stellen Sie sich nun vor, ein halbes Dutzend Unternehmen würden so schnell wie möglich Uran, angereichert, wobei jedes Unternehmen sagen würde, es wolle lieber Teilnehmer als Zuschauer sein. Das ähnelt ein wenig dem, was die Menschheit mit künstlicher Superintelligenz tut.^†

Die Gefahr durch künstliche Superintelligenz ist dringend. Unternehmen beeilen sich, diese Technologie zu entwickeln. Wir wissen nicht, wie lange sie dafür brauchen werden, aber wir glauben, dass ein Kind, das heute in den USA geboren wird, eher durch KI ums Leben kommt als die Highschool abzuschließen. Wir glauben, dass Sie, liebe Leserinnen und Leser, wahrscheinlich noch zu Lebzeiten daran sterben werden, vielleicht sogar in den nächsten Jahren. Die ganze Welt steht auf dem Spiel.

Wir sagen nicht, dass andere Probleme ignoriert werden sollten. Wir sagen, dass dieses Problem angegangen werden muss.