ASI-Alignment ist die Herausforderung, nützliche Arbeit von einer künstlichen Superintelligenz (ASI) zu erhalten, und zwar zuverlässig und ohne eine Katastrophe zu verursachen. Aufgrund verschiedener grundlegender Merkmale des Problems scheint dies eine sehr schwierige Herausforderung zu sein.

Im Folgenden behandeln wir Anschlussfragen für Leser, die Kapitel 10 von If Anyone Builds It, Everyone Dies: Warum eine superintelligente KI uns alle vernichten würde gelesen haben. Wir gehen näher darauf ein, wie informativ verschiedene historische Vergleiche sind, und betrachten Vorschläge für Szenarien, die das Problem möglicherweise vereinfachen könnten. Um eine Wiederholung des Buches zu vermeiden, werden wir folgende Themen hier nicht behandeln:

• Was macht ein technisches Problem schwierig?
• Mit welchen schwierigen Problemen war die Menschheit in ihrer Geschichte konfrontiert, und welche Lehren können wir daraus ziehen, wenn wir über den Weg zur ASI nachdenken?
• Was kann man tun, wenn man im Voraus weiß, dass man vor einem schwierigen Problem steht? Wie sollte man sich anders verhalten, wenn man vor einem wirklich schwierigen Problem steht?