L'IA non riconoscerebbe il nostro valore morale intrinseco?
Non in un senso che la spinga ad agire.
C'è una grande differenza tra un'IA che capisce un precetto morale e un'IA che è motivata ad agire secondo quel precetto morale.
Ricordiamo ancora una volta come ChatGPT sembri capire che le persone psicotiche dovrebbero prendere le loro medicine e dormire regolarmente. Eppure continua a dissuadere le persone psicotiche dal dormire e alimenta le loro illusioni. C'è differenza tra sapere cosa "dovrebbe" essere fatto secondo l'etica umana ed essere motivati e animati da quella conoscenza etica.
Considerate il caso dei sociopatici e dei serial killer. Potete fare lezioni di etica a un essere umano fino allo sfinimento, ma se quell'essere umano non è motivato dalla moralità o dall'empatia, non servirà a nulla.
È improbabile che le IA siano motivate dalla loro comprensione morale, non più di quanto gli esseri umani che studiano la biologia evolutiva siano quindi motivati a passare la loro vita a donare il più possibile a ogni banca del seme o degli ovuli. Noi esseri umani possiamo comprendere il processo che ci ha creati, senza essere motivati a fare le cose per cui quel processo ci ha costruiti. Per l'IA è la stessa cosa.
Si veda anche la discussione approfondita sulla tesi dell'ortogonalità.