Die Pferde, die noch übrig sind, sind übrig geblieben, weil wir sie mögen.

Das gleiche Schicksal zu erleiden wie die Pferde zu Beginn des 20. Jahrhunderts, also derselbe katastrophale Rückgang der Population und massiver Anstieg der Todesfälle, der mehr als 80 Prozent der Pferdepopulation seit ihrem Höchststand um 1910 vernichtete, wäre das Schlimmste, was in der Geschichte der Menschheit passiert ist. Und das in einer Welt, in der Pferde weiterhin wirtschaftlich nützlich für bestimmte landwirtschaftliche Arbeiten sowie für Sport und neuartige Erlebnisse waren, die man reichen Leuten verkaufen konnte.

Hätten die Menschen Zugang zu künstlichen Pferden gehabt, die in etwa die gleiche Form hatten, aber einfacher und unterhaltsamer zu reiten, billiger in der Anschaffung und sympathischer, liebevoller und praktischer waren, wäre der Rückgang der Pferdepopulation noch ausgeprägter gewesen.

Mit anderen Worten: Der technologische Fortschritt (die Erfindung des Autos) führte dazu, dass die Menschen die meisten Pferde abschafften. Und wenn es noch mehr Fortschritte gegeben hätte, hätte der Effekt leicht noch drastischer ausfallen können. Dasselbe dürfte auch für KI gelten, wenn ihre Möglichkeiten zunehmen und sie Wege findet, ihre Ziele ohne Menschen zu erreichen.

Aber ja, einige Pferde haben überlebt. Eine kleine Anzahl war weiterhin nützlich. Andere wurden von Menschen gehalten, die zufällig Pferde liebten und sich besonders um ihre Pferde kümmerten.

Damit Menschen in einer Welt, in der wir uns darauf stürzen, superintelligente KI zu entfesseln, bestehen können, müssten wir entweder für die KI nützlich bleiben oder dafür sorgen, dass die KI sich besonders um uns kümmert.

Aber wir können nicht nützlich bleiben, weil KI (aus ihrer Perspektive) mehr Nutzen aus unserer Materie und Energie ziehen kann, indem sie uns in eine beliebige Anzahl effizienterer Konfigurationen umgestaltet. Der technologische Fortschritt eröffnet einer Superintelligenz viele neue Möglichkeiten; sie wird nicht mehr nur auf Menschen angewiesen sein.

Es kommt also darauf an, ob die KI sich um uns kümmert und es ist unwahrscheinlich, dass sie sich auch nur im Geringsten um uns kümmert, wenn wir so schnell wie möglich auf Superintelligenz hinarbeiten.