¿No reconocería la IA nuestro valor moral intrínseco?
No en un sentido que la impulse a actuar.
Hay una gran diferencia entre que una IA comprenda algún precepto moral y que esté motivada para actuar según ese precepto moral.
Recordemos de nuevo cómo ChatGPT parece comprender que las personas psicóticas deben tomar sus medicamentos y dormir regularmente. Y, sin embargo, sigue incitándolas a no dormir y alimentando sus delirios. Hay una diferencia entre saber lo que «se debe» hacer según la ética humana y estar motivado y animado por ese conocimiento ético.
Consideremos el caso de los sociópatas y los asesinos en serie. Puedes recitar lecciones de ética a un ser humano hasta quedarte sin voz, pero si ese ser humano no está motivado por la moralidad o la empatía, no servirá de nada.
No es probable que las IA se sientan motivadas por su comprensión moral, al igual que los humanos que aprenden sobre biología evolutiva no se sienten motivados por ello a pasar su vida donando lo más posible a todos los bancos de esperma u óvulos. Los humanos podemos comprender el proceso que nos creó, sin sentirnos motivados a hacer las cosas para las que ese proceso nos creó. Lo mismo ocurre con la IA.
Véase también el debate ampliado sobre la tesis de la ortogonalidad.