Comparación entre la selección natural y el descenso de gradiente

Como comentamos en «Los valores humanos son contingentes», la evolución del amor y la amistad en los seres humanos dependió de manera crucial de características de la selección natural que estaban presentes para el Homo sapiens en particular, y que están ausentes en el descenso de gradiente.

La cuestión más obvia es el conjunto de datos. Las IA actuales están entrenadas para resolver retos sintéticos e imitar textos generados por humanos; no se enfrentan a retos cooperativos-competitivos en contextos de cazadores-recolectores en los que deben aparearse con otros individuos de su especie para propagar sus genes.

Al oír esto, lo siguiente que se les ocurre a algunas personas es salir corriendo e intentar crear entornos de entrenamiento tribales sintéticos, con la esperanza de diseñar algo más parecido al entorno ancestral de la humanidad.

Pero es casi seguro que no obtendrías los mismos resultados si ejecutaras la evolución de nuevo, empezando en torno al nivel de las medusas —por no hablar de lo que sucedería si cambiaras por completo el optimizador de la selección natural al descenso de gradiente y prescindieras por completo de los genes—. Podemos hacer conjeturas sobre algunos de los factores que causaron que los seres humanos evolucionáramos hasta tener los valores actuales. Pero eso no significa que tengamos un algoritmo para reproducir los mismos resultados una segunda vez.

Incluso si partiéramos de los primates, en lugar de actrices alienígenas entrenadas para predecir texto humano (es decir, las IA modernas), deberíamos esperar que hubiera uno o más factores causales vitales que los biólogos aún no han descubierto —al menos una cosa que hayamos pasado por alto, donde los artículos dirán algo distinto dentro de veinte años a lo que dicen hoy (si es que todos seguimos vivos para entonces)—. Los biólogos evolutivos están en la etapa de explorar diversas conjeturas sobre cómo evolucionaron estas características, no en la etapa de establecer una teoría completa —mucho menos una teoría precisa y determinista—.

E incluso más allá de las diferencias superficiales en los entornos de entrenamiento, sospechamos que este es un caso donde se vuelve importante el hecho de que la selección natural optimiza un genoma y el descenso de gradiente optimiza directamente cada parámetro en la mente de la IA.

La selección natural tiene que utilizar un genoma pequeño y comprimido para producir un cerebro completo y extenso. Tiene que forzar su información a través de un estrecho cuello de botella. Parecer amistoso era un rasgo importante para la supervivencia y el éxito en la época de nuestros antepasados. Los genes que construyen amigos genuinos son un truco sencillo para crear organismos que parezcan buenos amigos para otros miembros de su especie, y la selección natural favorece las soluciones sencillas mucho más que el descenso de gradiente.

La selección natural a veces crea agentes que se preocupan genuinamente por ser honestos (aunque no siempre). Crea agentes así porque no puede codificar guías completas para mentir, y teníamos que empezar a parecer honestos en muchas situaciones antes de ser lo suficientemente inteligentes como para saber cuándo era seguro mentir, antes de tener la opción de ser honestos solo cuando la recompensa vale la pena. Eso se debe en parte a que la selección natural tenía que conformarse con solo un puñado de genes.

Pero el descenso de gradiente puede codificar un gran número de patrones conversacionales. Todavía existe cierto sesgo hacia soluciones más simples y fáciles de converger, pero el descenso de gradiente lanza una red mucho mucho más amplia.

O, en términos más generales: la honestidad y la amistad son casos en los que no nos conformamos con cualquier equilibrio entre agentes que el descenso de gradiente pueda encontrar. Hay otras soluciones a los problemas que la amistad y un interés terminal por la honestidad resolvían en los seres humanos. Incluso si el entorno de entrenamiento de las IA fuera exactamente igual al de los seres humanos, si se vieran moldeadas por el descenso de gradiente en lugar de por la selección natural, no deberíamos esperar los mismos resultados.

¡Incluso la mayoría de los organismos evolucionados no son como los humanos en este sentido! Por lo tanto, parece bastante predecible que el descenso de gradiente no encuentre las mismas soluciones que la evolución, y mucho menos las mismas soluciones que la evolución operando en poblaciones particulares de primates primitivos.

La optimización no es un ritual mágico en el que se introducen unos cuantos ingredientes clave que tienen relaciones simpáticas con un arquetipo y se obtiene ese arquetipo completo. Tratar de cultivar agentes de IA en entornos de cazadores-recolectores no arrojará seres humanos reconocibles.

Por supuesto, alguien puede hacer un ajuste fino en un LLM para predecir lo que dirán los humanos sobre lo terrible que es traicionar a un amigo. Pero esto no se parece en nada al problema que la selección natural optimizó los genes para resolver a fin de producir al menos algunas personas que no traicionarían a sus amigos. La «experiencia» del LLM es muy distinta: está encerrado en una caja, se le pide que prediga una conversación entre dos criaturas extremadamente extrañas que se parecen menos a él que a una medusa y se le dan billones de ejemplos de conversaciones extrañas y billones de horas para resolverlo.

Ser capaz de resolver este problema requiere cierta forma de inteligencia. Pero no es necesario embriagarse para predecir el tipo de cosas que dirán las criaturas extrañas («humanos») cuando estén intoxicadas. No es necesario volverse verdaderamente amistoso para comprender la amabilidad o para predecir e imitar el comportamiento de criaturas amistosas.

Los LLM y la «superficialidad» de la IA alrededor de 2024

En los recursos del capítulo 1, señalamos que, en cierto sentido, la IA actual todavía parece ser más superficial que los seres humanos. La comparación con la selección natural ofrece una posible explicación de por qué podría ser así.

El descenso de gradiente tiene mucho en común con la selección natural, ya que ambos son optimizadores que ajustan ciegamente los parámetros internos para producir el comportamiento externo requerido. Sin embargo, el descenso de gradiente y la evolución son distintos en algunos aspectos importantes; y la diferencia más importante (que conocemos) es que el descenso de gradiente tiene un cuello de botella de información mucho más amplio en cuanto a la cantidad de patrones que puede aprender.

La selección natural, operando en los homínidos, solo podía aprender unos pocos bits teórico-informativos por generación. Tenía que hacer caber todo lo que aprendía en 3000 millones de bases de ADN, o alrededor de 750 megabytes, mucho de lo cual es ADN basura repetitivo. Existen límites matemáticos de cuánto puede aprender la selección natural en una sola generación. Cada característica individual que la selección natural incorporó en los cerebros de los homínidos tuvo que codificarse en un puñado de genes que sesgarían la formación de circuitos neuronales posteriores.

El descenso de gradiente es muy diferente. Cada vez que el descenso de gradiente ve un nuevo lote de tokens, calcula el gradiente de cada uno de los miles de millones o billones de parámetros con respecto a ese lote de tokens: calcula cuánto mejor o peor habrían sido las predicciones de toda la IA si cada parámetro hubiera sido un poco diferente. En la práctica, no solo en principio, el descenso de gradiente puede aprender muchísima más información de mil lotes de tokens que la que la selección natural codifica en los genes a lo largo de mil generaciones.^*

Podemos combinar esta observación con otro dato clave sobre las arquitecturas de LLM (conocidas públicamente en 2024): su profundidad computacional por token está limitada.

Llama-3.1-405B tiene 126 capas, y cada una de esas capas implica computar algo así como cuatro operaciones en serie.^†

Cada vez que Llama revisa lo que ya se ha dicho y computa un nuevo token de salida, ese cálculo implica como máximo ~500 pasos en serie, aunque hay miles de millones de operaciones paralelas que obedecen a ese límite serial. Para realizar cálculos en serie más largos que 500 pasos cognitivos, Llama necesita generar tokens que sean el producto del razonamiento anterior y luego realizar nuevas operaciones dependiendo de ellos.^‡

Así que nuestra conjetura sería que —a diferencia de cualquier cosa en el campo de la biología— Llama-3.1-405B es una enorme colección de patrones de políticas memorizados y relativamente superficiales, aunque con mucha superposición, interacción y coherencia optimizadas entre esos patrones de políticas (además de algunas estructuras cognitivas genuinamente más profundas que aún tienen una profundidad computacional limitada).

Este hecho ofrece una posible explicación para la aparente superficialidad de los LLM actuales. (Reconocemos que es mucho más difícil afirmar que los LLM de 2025 son «superficiales» en comparación con los LLM de 2023 y 2024).

Por lo general, no es válido pensar en las IA como seres humanos con daño cerebral.^§ Pero algunas analogías más limitadas como esa quizás sean útiles aquí. Por ejemplo, los LLM de 2024 específicamente son como personas con amnesia anterógrada: recuerdan los acontecimientos hasta la fecha límite de su entrenamiento, pero no lo que les dijiste ayer.

Del mismo modo, podría ser útil imaginar los LLM de 2024 —no todas las posibles IA futuras en general— como entidades que recuerdan muchas experiencias pasadas similares a las humanas, pero que tienen daño cerebral que les impide involucrarse en un pensamiento novedoso tan profundo como los pensamientos más profundos que pueden recordar.

Esto resultaba mucho más evidente con los LLM anteriores, GPT-3 o GPT-3.5. No culparíamos a alguien que solo haya usado los LLM más recientes si leyera esto en 2025 o después y se preguntara si nos lo estamos inventando en un intento desesperado por aferrarnos a un sentido de superioridad humana. Muchos han errado de esa manera antes.

Pero esa sigue siendo la teoría organizativa —o más bien, la conjetura descabellada— que los autores están usando para dar sentido a los LLM en 2024. A estos modelos les falta cierto tipo de profundidad; y compensan esa desventaja recordando una vasta variedad de patrones. No solo hechos, sino patrones de habilidades, patrones de habla y patrones de políticas.

Los patrones imbuidos por gradiente en los mejores LLM públicos de 2024 no son tan superficiales, o eso supondríamos. No están en el nivel excepcionalmente humilde de una avispa Sphex, por usar un ejemplo del suplemento en línea del Capítulo 3; quizás se parezcan más a los patrones que una mente de castor puede rastrear y procesar.

Las cogniciones aprendidas de un LLM pueden pasar por 500 pasos en serie, incluso antes de tener en cuenta su capacidad para pensar en voz alta y escuchar sus propios pensamientos. Los LLM de 2024 tienen cierta capacidad para imaginar, predecir y planificar, como la cognición (en realidad bastante impresionante) de un castor que construye una presa. Pero a nuestros ojos, los LLM todavía no parecen estar completamente al nivel de un humano, al menos en algunos aspectos importantes.

Sin embargo, lo que es cierto sobre la IA en este momento no necesariamente será cierto dentro de un año o un mes. Estas especulaciones son interesantes, pero mientras damos los toques finales a esta sección en agosto de 2025, las IA de hoy nos parecen algo menos superficiales que las IA de 2024; y estas, a su vez, parecían menos superficiales y menos estrechas que las IA de 2023.

Quizás la brecha se cierre lentamente mediante la iteración constante sobre los LLM base; o quizás se cierre encontrando mejores métodos de entrenamiento para usar en las largas cadenas de «razonamiento» en modelos de razonamiento modernos como o1 (que se describe en el capítulo 3) o su sucesor o3; o quizás algún hallazgo arquitectónico completamente nuevo llegue y cierre la brecha de la noche a la mañana. Esa parte del futuro no es fácil de predecir.

Pero, tarde o temprano, si la comunidad internacional no hace nada, la brecha se cerrará. Al mundo se le acaba el tiempo para actuar.