Wahrscheinlich nicht.

Zumindest einige Menschen (wenn auch wahrscheinlich nicht alle) werden freundlicher, wenn sie mehr lernen, ihr Denken verfeinern, über sich selbst nachdenken und als Menschen wachsen. Aber um noch einmal auf ein Thema zurückzukommen, das wir an dieser Stelle bereits mehrfach angesprochen haben: Dies scheint eine zufällige Tatsache über uns und darüber zu sein, wohin wir uns bewegen. Es scheint keine eiserne Gesetzmäßigkeit der Informatik zu sein.

Wir können zwischen den Präferenzen erster Ordnung einer KI ("Was will sie?") und ihren Präferenzen zweiter Ordnung ("Was will sie wollen?") unterscheiden. So wie die Präferenzen erster Ordnung einer KI in eine seltsame Richtung weisen, werden auch ihre Präferenzen zweiter Ordnung in eine seltsame Richtung weisen. Dies kann eine andere Richtung sein, sodass die KI, wenn sie intelligenter wird, ihre Ziele leicht verschiebt. Aber wir sollten dennoch davon ausgehen, dass es sich um eine seltsame Richtung handelt und nicht um eine, die einem reifen Menschen ähnelt.

Wenn es der Menschheit irgendwie gelänge, eine KI mit einem einzigen übergeordneten Ziel zu bauen (anstelle einer riesigen Mischung aus seltsamen und manchmal konkurrierenden Trieben), und dieses einzige übergeordnete Ziel wäre, winzige Titanwürfel zu bauen, dann sollten wir erwarten, dass sie mit zunehmender Intelligenz besser darin wird, mehr winzige Titanwürfel zu bauen.

Wir sollten nicht erwarten, dass sie dieses Ziel plötzlich gegen Dinge austauscht, die Menschen schätzen, wie Eiscreme, Freundschaften, Witze und Gerechtigkeit. Dieser Austausch würde nicht zu mehr Würfeln führen. Wenn eine KI ihre Handlungen nach dem Kriterium "Bekomme ich dadurch mehr Titanwürfel?" auswählt, wird sie keine Handlungen auswählen, die zu einem Austausch führen.

Die allgemeine Regel lautet: Je intelligenter KI wird, desto besser wird sie darin, ihre Ziele zu verfolgen. Siehe auch die ausführlichen Diskussionen zu Orthogonalität und Selbstmodifikation.