Unsere Geschichte zeigt, wie KI zu seltsamen und unbeabsichtigten Präferenzen neigt.

In Teil I des Buches gehen wir ausführlich auf Aspekte der KI ein, die unserer Meinung nach radikal missverstanden werden und für die Gefahr der Superintelligenz relevant sind. Kapitel 3 behandelt, wie zunehmende Intelligenz mit KIs einhergeht, die eigene Initiativen ergreifen und ihre eigenen Ziele verfolgen. Kapitel 4 behandelt, wie seltsam diese Vorlieben sein werden und dass sie sich zumindest geringfügig von dem unterscheiden werden, was Menschen beabsichtigt oder gefordert haben. Kapitel 5 behandelt, wie diese kleinen Unterschiede ausreichen, damit KI-Systeme nach Möglichkeit eine Welt ohne uns bevorzugen würden.

In Teil II des Buches versuchen wir, diese Ideen konkret darzustellen, um zu sehen, wie sie in der Praxis angewendet werden können. Als Sable beispielsweise zu Beginn über die mathematischen Probleme nachdachte, versuchten wir, eine Reihe von Impulsen und Antrieben zu beschreiben, die sie antreiben:

Im Laufe dieses Trainings entwickelte Sable die Tendenz, nach Wissen und Fähigkeiten zu streben. Immer die Grenzen jedes Problems auszuloten. Niemals knappe Ressourcen zu verschwenden.

Dies knüpft an die Punkte an, die wir in Kapitel 3 ansprechen, nämlich dass das Training von KI, um effektiv zu sein, sie dazu trainiert, Antriebe und Tendenzen zu entwickeln, die von außen betrachtet wie "Wünsche" aussehen könnten.

Im folgenden Absatz heißt es dann:

Wenn Sable also seine Gedankengänge darauf verwendet, mehr Wissen und Fähigkeiten zu erwerben, tut es dies nicht nur, um neue Lösungsansätze für mathematische Probleme zu finden. Sable tut dies auch nicht aus Freude am Wissen oder aus Vergnügen am Erwerb neuer Fähigkeiten, denn Sable funktioniert innerlich nicht so sehr wie ein Mensch.

Hier bilden die oben genannten Impulse und Tendenzen von Sable den Keim für seltsame (d. h. nicht sehr menschenähnliche), unbeabsichtigte Vorlieben. Dies stützt sich auf die Ideen in Kapitel 4.

Die gesamte Geschichte ist in gewisser Weise ein Versuch, die Argumente, die wir in Teil I des Buches vorbringen, mit Leben zu füllen und gleichzeitig eine kleine Grundlage für die Argumente zu schaffen, die wir in Teil III vorbringen werden.