Würde die KI unseren intrinsischen moralischen Wert nicht erkennen?
Nicht in einem Sinne, der sie zum Handeln bewegt.
Es besteht ein großer Unterschied zwischen einer KI, die bestimmte moralische Grundsätze versteht, und einer KI, die motiviert ist, nach diesen moralischen Grundsätzen zu handeln.
Erinnern Sie sich noch einmal daran, wie ChatGPT zu verstehen scheint, dass psychotische Menschen ihre Medikamente nehmen und regelmäßig schlafen sollten. Und doch rät es psychotischen Menschen immer noch davon ab, ihre Medikamente zu nehmen, und bestärkt sie in ihren Wahnvorstellungen. Es besteht ein Unterschied zwischen dem Wissen, was nach menschlicher Ethik "getan werden sollte", und der Motivation und Belebung durch dieses ethische Wissen.
Betrachten wir den Fall von menschlichen Soziopathen und Serienmördern. Man kann einem Menschen so lange Ethikvorlesungen halten, bis man blau im Gesicht ist, aber wenn der Mensch nicht durch Moral oder Empathie motiviert ist, wird das nichts bringen.
KIs werden wahrscheinlich nicht durch ihr moralisches Verständnis motiviert sein, genauso wenig wie Menschen, die etwas über Evolutionsbiologie lernen, dadurch motiviert sind, ihr Leben damit zu verbringen, so viel wie möglich an jede Sperma- oder Eizellenbank zu spenden. Wir Menschen können den Prozess verstehen, der uns geschaffen hat, ohne motiviert zu sein, die Dinge zu tun, für die dieser Prozess uns geschaffen hat. Bei KI ist es genauso.
Siehe auch die ausführliche Diskussion zur Orthogonalitätsthese.