Es hat dramatische Auswirkungen auf unsere Prioritäten.

Im Jahr 2014 verließ Soares die Tech-Branche und nahm ein Drittel seines bisherigen Gehalts, um an diesem Problem zu arbeiten, weil es ihm wichtig erschien und weil nur wenige andere Menschen daran arbeiteten. Und er war mehr als ein Jahrzehnt zu spät dran im Vergleich zu Yudkowsky, der MIRI im Jahr 2000 gründete, als er etwa zwanzig Jahre alt war, und sein Leben diesem Thema gewidmet hat. Also, ja, es beeinflusst unser tägliches Leben.

Sparen wir für den Ruhestand? Unsere Investitionen und andere Faktoren außerhalb von MIRI laufen so gut, dass wir finanziell gut aufgestellt wären, selbst wenn wir morgen in Rente gehen würden und selbst wenn die Welt bis ins hohe Alter bestehen bliebe. Die Frage, ob wir unser Geld in Rentenpläne investieren, ist daher nicht sehr aussagekräftig. Dennoch: Nein, wir investieren unser Geld nicht in Rentenpläne.

Manche Leute sagen gerne, dass wir, wenn wir wirklich an das glauben würden, was wir sagen, dann (abgesehen davon, dass wir unser Leben dafür einsetzen) auch [einige Maßnahmen ergreifen würden, die sie für eine angemessene Reaktion halten]. Warum nehmen wir nicht einfach riesige 30-jährige Kredite auf, die wir nie zurückzahlen müssen, wenn wir so zuversichtlich sind, dass die Welt vorher untergeht?

Die Antwort lautet natürlich, dass dies schlechte Ideen sind. Angenommen, wir gingen zu einer Bank und sagten: "Wir möchten einen sehr hohen Kredit aufnehmen. Wir werden alles für Maßnahmen ausgeben, um der Welt die Gefahr künstlicher Superintelligenz bewusst zu machen, und/oder für einen luxuriösen Lebensstil, was aus Ihrer Sicht in etwa so aussieht, als würden wir das Geld verbrennen. Unser Plan für die Rückzahlung mit Zinsen ist, dass wir davon ausgehen, dass wir dann tot sein werden, sodass es nicht mehr unser Problem sein wird." Keine Bank würde diesen Kredit gewähren. Und nein, wir werden nicht so tun, als hätten wir eine tragfähige Geschäftsidee, und lügen, ob wir den Kredit zurückzahlen würden.

Yudkowsky hat an anderer Stelle ein Muster beschrieben, das wir beobachten können: Das Beharren darauf, dass wir einem vermeintlich offensichtlichen Plan zum schnellen Reichwerden am Ende der Welt folgen, entspringt einem unverständigen Verständnis von Investitionen. Wir gehen davon aus, dass diese Menschen nicht darüber nachdenken, ob sie diese Wetten eingehen würden, wenn sie unsere Überzeugungen hätten. Es sind fast nie Menschen, die die Risiken tatsächlich verstehen, die diese verrückten Pläne vorschlagen.

Im Schatten der Vernichtung zu leben, muss einen nicht dumm machen. Und es muss einen auch nicht dazu bringen, den Kampf gegen die Vernichtung aufzugeben oder darauf zu verzichten, das Leben, das man hat, so lange es dauert, in vollen Zügen zu leben.

Weitere Informationen zu diesem Thema finden Sie am Ende des Buches.