La bondad parece depender de las particularidades de nuestra biología y ascendencia.

La bondad no parece ser una cualidad que todas las mentes acaben desarrollando, por diversas razones. A continuación, se enumeran cuatro de ellas, que se tratan con más detalle en los debates ampliados:

1. La curiosidad no es convergente: rasgos como la curiosidad y el aburrimiento ayudan a los seres humanos a resolver retos mentales específicos, como el reto de comprender el entorno. Pero hay otras formas de resolver esos retos, y es probable que las IA los resuelvan de maneras diferentes. Los submarinos se mueven perfectamente por el agua, pero no «nadan» propiamente dicho. Muchos otros rasgos, como la bondad, pueden entenderse de forma análoga.
2. Los valores humanos son contingentes: los seres humanos desarrollaron rasgos como la amabilidad y la empatía debido a los detalles de nuestra biología y ascendencia. Por ejemplo, era plausiblemente importante que los seres humanos evolucionaran en grupos tribales en los que teníamos una capacidad limitada para engañar a los demás y para rastrear el grado de parentesco entre los diferentes miembros de la tribu.
3. Profundas diferencias entre las IA y las especies evolucionadas: la evolución y el descenso de gradiente funcionan de manera muy distinta, y ambos procesos son muy impredecibles. Incluso si volvieras a ejecutar la evolución en los primates, no está claro que obtuvieras de manera fiable rasgos como la amabilidad y la verdadera amistad por segunda vez.
4. La reflexión y la automodificación hacen todo más difícil: incluso en el improbable caso de que las IA empiecen con una cierta dosis de amabilidad, es posible que no la conserven a medida que se vuelven más inteligentes y cambian de diversas maneras.