Destacamos el ejemplo de Jürgen Schmidhuber, investigador pionero en IA que creía que una IA con preferencia por simplificar las cosas al máximo acabaría amando a los humanos, ya que somos muy buenos simplificadores.

Según nuestra experiencia, este es un error muy común. «Bueno, probablemente la IA acabará teniendo preferencias estéticas. ¡Y los humanos hacemos arte! Así que la IA querrá mantenernos cerca para hacer arte».

Un ejemplo reciente proviene de xAI, un importante laboratorio de IA (fundado por Elon Musk) cuyo plan declarado para que todos sobrevivamos es hacer que su IA se preocupe por la «verdad», y dado que los humanos generan verdades, todos estaremos a salvo. (En el capítulo 11 se puede encontrar más información sobre el plan de este laboratorio y los planes de supervivencia de otros laboratorios).

Para ilustrar realmente el problema de este tipo de razonamiento, es útil estudiar un ejemplo en detalle. Tomemos un ejemplo un poco más neutro que el «arte», como la «simetría».

Supongamos que los laboratorios de IA utilizaran las técnicas actuales para desarrollar IA más inteligentes que los humanos y que se preocuparan por la simetría. ¿Esa preferencia por la simetría por sí sola daría lugar a que le importaran los humanos?

Se podría argumentar, al estilo de Schmidhuber: ¡Los humanos son bilateralmente simétricos! ¿Cómo podría una IA amante de la simetría soportar matar a algo tan simétrico como nosotros? Y se podrían esgrimir otros argumentos, como: ¡Los humanos producimos muchas llantas de coche, que son muy simétricas! ¿Por qué una IA nos eliminaría del mundo, cuando somos una fuente automática y preexistente de objetos simétricos?

El problema de este razonamiento es que es posible tomar los átomos que componen a un ser humano y organizarlos de formas aún más simétricas. O reorganizar los átomos que componen la civilización humana en fábricas que produzcan objetos simétricos de forma aún más eficiente. Es el mismo error que comete la película Matrix, cuando imagina que las IA podrían mantener vivos a los humanos en cápsulas como generadores de calor y electricidad: hay formas más eficientes de generar calor y electricidad.

Sin embargo, a efectos del argumento, supongamos que imaginamos que las IA sí valoran un tipo de simetría muy específico e inusual que realmente considera a los humanos como especímenes asombrosos de simetría. Incluso entonces, ¿por qué esta preferencia por sí sola implicaría que los seres humanos vivos hoy en día puedan seguir viviendo, libres, gozando de buena salud y divirtiéndose?

Pensemos como una IA. Incluso si la IA tiene que quedarse con los humanos, los que viven hoy en día no son los seres humanos más simétricos posibles. La IA debería poder satisfacer aún más su preferencia por la simetría clonando repetidamente al humano vivo más simétrico o creando humanos «mejorados» mediante ingeniería genética.

Del mismo modo, dejar que esos humanos simplemente corran por ahí no es la forma más barata de mantenerlos vivos y simétricos. Probablemente acabarán en granjas. Al almacenar a los humanos de una manera barata y eficiente en cuanto al espacio, la IA puede salirse con la suya creando humanos aún más simétricos.

A modo de comparación: en la actualidad, la humanidad no tiene una forma más eficiente de producir huevos que dejar que las gallinas los pongan. Como resultado, las granjas industriales, cuyos ejecutivos se preocupaban principalmente por el recuento de huevos, terminaron poniendo a las gallinas en condiciones increíblemente desagradables, porque esa era la forma más barata de obtener la mayor cantidad de huevos.

Del mismo modo, las gallinas que existían hace mil años no eran las ponedoras más eficientes posibles, por lo que los granjeros criaron gallinas que ponían más rápido. Las gallinas de hace mil años no producían tanta carne como era posible, tan rápido como era posible. Por eso, ahora algunas gallinas modernas desarrollan pechugas tan enormes que no pueden caminar.

A algunos seres humanos no les gusta que tratemos así a las gallinas, y esas personas presionan a las granjas industriales para que cambien, porque tienen preferencias adicionales, más allá de la preferencia por los huevos baratos. Para que exista esa presión, es necesario que alguien con cierto poder se preocupe directamente por el bienestar de las gallinas, al menos un poco, porque cuidar bien de las gallinas no está motivado por una preferencia que se base únicamente en la obtención de huevos. Una IA podría, en teoría, tener otras preferencias respecto a los humanos que la llevaran a tratarnos bien, pero no vendrían de una preferencia por la simetría (o la verdad, o las explicaciones simples, o cualquier otra preferencia que no tenga que ver realmente con nosotros).

Incluso los granjeros que tienen relaciones menos impersonales con su ganado prohibirán que sus animales se apareen como quieran. La cría de ganado es un negocio serio y afecta demasiado la rentabilidad futura de la granja como para dejar que los toros y las vacas se apareen a su antojo.

E incluso este sistema no durará para siempre. La producción de carne de vacuno es muy costosa en tierras agrícolas, y varias empresas emergentes están intentando sintetizar la carne de vacuno más directamente.

La carne sintética no es un problema de ingeniería sencillo en nuestro nivel tecnológico. La humanidad apenas está empezando a ponerse al día con algo de lo que hace la selección natural en el ámbito de la química orgánica. Pero si la humanidad fuera más hábil para reorganizar los átomos, habría muchas menos vacas, ya que no es muy divertido tenerlas si no se necesitan para obtener leche y carne.

Así que las cosas no pintan bien para la hipótesis con la que empezamos, a efectos del argumento: que una IA con preferencias extrañas mantendría a los humanos para siempre, en nombre de la «simetría». Incluso en el improbable caso de que la IA tenga una noción muy extraña de «simetría» que clasifique a los humanos muy alto, es mucho más difícil encontrar una noción de simetría que considere a los humanos óptimos. En cualquier caso, las cosas no pintan bien para la humanidad.

Siendo realistas, una superinteligencia amante de la simetría no mantendría vivos a los humanos; y si nos mantuviera vivos, no habría ninguna posibilidad real de que nos mantuviera sanos y felices y libres. En ese punto, hemos acumulado demasiadas coincidencias que suenan bien. Si la IA se preocupara específicamente por nuestro bienestar y quisiera que fuéramos felices por esa razón, entonces sería otra cosa. Pero imaginar que bastan objetivos mucho más simples y fáciles parece una fantasía.

Todos estos argumentos se aplican con igual fuerza a «simplemente hay que crear una IA que valore la verdad» o «simplemente hay que crear una IA que valore la belleza». Es solo que esos casos hacen que sea más fácil perderse en la fantasía, porque palabras como «verdad» y «belleza» suenan intuitivamente más agradables que «simetría».

Si algo suena bien como eslogan («¡hagamos que la IA valore la verdad por encima de todo!»), entonces la tentación es imaginar que su política sería tener buenas consecuencias. La tentación es imaginar que todas las virtudes van juntas, de modo que respaldar una cosa buena significa que las otras cosas buenas vendrán por añadidura. Pero la naturaleza y el aprendizaje automático son menos benévolos que eso.

En lugar de dejar la idea agradablemente vaga, considera cualquier métrica concreta que la superinteligencia podría optimizar al buscar la «verdad». Luego observa que los humanos no serán el máximo de esa preferencia por aprender verdades. No estarán ni remotamente cerca.

Incluso en el improbable caso de que la IA se sintiera atraída específicamente por el tipo de verdades que los humanos tienden a expresar (en lugar de, por ejemplo, ecuaciones aritméticas aleatorias), la mejor manera de obtener más de esas verdades no sería mantener a los humanos cerca y utilizarlos para generar conversaciones al estilo humano.

Y, en cualquier caso, la población humana actual —los seres humanos reales que viven hoy, tus amigos, tu familia, tú— no estaría entre los productores domesticados de «verdad», más baratos de alimentar y más apetecibles de ordeñar.

Las personas felices, sanas y libres que llevan vidas prósperas no son la solución más eficiente para casi ningún problema. Para que una IA nos mantenga vivos y sanos, tiene que importarle al menos un poco lo que nos pase.