Wenn KI "Faszination" schätzt, hat sie wahrscheinlich bessere Optionen.

Die Geschichte hier ähnelt der Geschichte der kindlichen Liebe:

• Standardmäßig würde eine Superintelligenz "Faszination" oder "Interessantheit" wahrscheinlich nicht schätzen. Schach-KIs gewinnen nicht durch Emotionen wie "Hingabe" oder "Siegeswille". Diese Emotionen sind für menschliche Schachspieler wichtig, aber KI kann die gleiche Arbeit auf andere Weise erledigen. Ebenso würde eine Superintelligenz wahrscheinlich die nützliche Arbeit des Lernens über die Welt, des Testens von Hypothesen usw. erledigen, ohne dabei "Neugier" oder "Faszination" zu nutzen.

  Eine KI wäre nicht unbedingt kalt und logisch, aber wenn sie ihre eigenen chaotischen Triebe und Instinkte hätte, würden diese sich wahrscheinlich radikal von denen des Menschen unterscheiden.
  

• Selbst wenn die KI am Ende so etwas wie einen "Interessensdrang" entwickelt und selbst wenn Menschen für die KI in gewisser Weise interessant sind, wird es unweigerlich Möglichkeiten geben, unsere Materie und Energie auf weitaus "interessantere" Weise zu nutzen.

  Eine superintelligente KI könnte andere Geister erschaffen, um sie zu studieren oder mit ihnen zu interagieren. Aber für fast jede bestimmte Anordnung von Werten wären die faszinierendsten Geister, die es zu studieren gäbe, nicht die Menschen. Mehr dazu finden Sie unter "Menschen sind fast nie die effizienteste Lösung".
  

• Wenn die KI tatsächlich etwas wie Menschen als das Interessanteste oder Faszinierendste überhaupt betrachten würde, wäre das Ergebnis wahrscheinlich schrecklich. Siehe die Diskussion in Kapitel 4.

Es ist nicht buchstäblich unmöglich, dass eine Superintelligenz alles, was Menschen zum Gedeihen brauchen, wertschätzt und genau richtig bewertet. Aber es gibt einen enormen Raum an Möglichkeiten außerhalb dieser einen. Menschen denken normalerweise nicht über den Rest des Möglichkeitsraums nach, weil wir normalerweise keinen Grund dazu haben, da wir normalerweise nicht mit wirklich fremden Optimierern interagieren, die auf seltsame Ziele hin optimieren.^*

Wir sind noch nie zuvor auf etwas wie künstliche Intelligenz gestoßen, und viele normale Intuitionen darüber, wie Leute sich verhalten, gelten einfach nicht für Superintelligenzen.

Wenn KI uns als historische Relikte schätzen würde, wäre das ebenfalls schrecklich.

Es ist sehr unwahrscheinlich, dass KI sich speziell um die Bewahrung ihrer Geschichte kümmern würde, insbesondere um die Erhaltung des menschlichen Lebens zu diesem Zweck. Aber selbst wenn die KI aus dem einen oder anderen Grund daran interessiert wäre, ihre Geschichte zu bewahren, würde das nicht bedeuten, dass sie uns am Leben und bei guter Gesundheit erhalten würde.

Vielleicht konserviert sie unser Gehirn in Bernstein (oder speichert in einer digitalen Datei, wie unsere Atome früher angeordnet waren) und bewahrt uns als Zeugnis davon, wie die Erde einst war. Das klingt für uns nicht nach einem großartigen Ergebnis.

Wir gehen größtenteils davon aus, dass künstliche Superintelligenz uns einfach töten wird, aber nur größtenteils. Wir können nicht ausschließen, dass die KI aus dem einen oder anderen Grund Aufzeichnungen über uns aufbewahren würde, und es gibt einige exotische Szenarien, in denen Emulationen von Menschen von Zeit zu Zeit in einer kontrollierten Umgebung ausgeführt werden.^† Diese Enden sind meist keine glücklichen.