Eso sería suicida, porque estamos demasiado lejos de una solución para la alineación.

Durante la última década, algunas personas preocupadas por los peligros de la IA argumentaron que podría ser bueno avanzar en la IA lo más rápido posible. La idea era que las IA más inteligentes requerirían casi todo el hardware informático del mundo para funcionar. Ningún avance individual desataría de repente miles de potentes IA que pensaran miles de veces más rápido que cualquier humano.

Mientras la humanidad siguiera utilizando una parte considerable de su poder de cómputo para ejecutar las IA más inteligentes, el cambio se produciría al menos de forma gradual y daría tiempo a la humanidad para adaptarse. No habría un «excedente de hardware», es decir, ningún momento en el que las capacidades de la IA dieran un salto repentino porque el mundo hubiera estado esperando para desplegar en la IA una gran reserva de hardware. O al menos así se argumentaba.

Creemos que este es un argumento bastante malo. Uno de los problemas es que parece probable que la inteligencia esté sujeta a efectos umbral.

La transición de la inteligencia de nivel de chimpancé a la inteligencia de nivel humano no fue «discontinua» en ningún sentido; desde el punto de vista de la humanidad, fue bastante gradual. Sin embargo, desde una perspectiva evolutiva, fue bastante rápida. Y la transición de la civilización preindustrial a la posindustrial fue aún más rápida. Ninguna de ellas fue lo suficientemente gradual como para que otros animales se adaptaran de manera significativa.

Por ejemplo, una IA que requiera una parte significativa del poder de cómputo mundial para funcionar podría ser lo suficientemente inteligente como para descubrir nuevos algoritmos de IA y nuevos diseños de chips informáticos que, al poco tiempo, dieran lugar a mil IA más inteligentes que los humanos y capaces de pensar miles de veces más rápido que la humanidad. (Recuerda: un centro de datos moderno requiere tanta electricidad para funcionar como una pequeña ciudad, mientras que un humano requiere tanta electricidad para funcionar como una gran bombilla. Hay mucho margen para que la eficiencia de la IA mejore).

O, si el cuello de botella es el poder de cómputo para construir IA en lugar del poder de cómputo para ejecutarlas, podemos esperar que haya un gran excedente de hardware una vez finalizado el proceso de entrenamiento, lo que liberará el hardware para ejecutar un gran número de IA de pensamiento rápido.

Incluso si la inteligencia no estuviera sujeta a efectos umbral, somos escépticos ante la idea de que bombardear continuamente a la humanidad con IA cada vez más inteligentes (aunque ninguna de ellas sea lo suficientemente inteligente como para matarnos) lo más rápido posible sea una buena forma de ayudar a la humanidad a desarrollar la disciplina de ingeniería necesaria para construir IA robustamente amigables.

El problema es que las IA se cultivan en lugar de fabricarse, y nadie está ni siquiera cerca de descubrir cómo cultivar IA a las que les importe de manera robusta cualquier cosa que sus diseñadores quieran que les importe.

Y ese problema no se resuelve cultivando más IA lo antes posible. La idea es prácticamente un non sequitur. Véanse también algunos de los antiguos escritos de Soares sobre cómo la alineación de la IA requiere un esfuerzo en serie.

Sin embargo, el director general de OpenAI, Sam Altman, retomó este argumento falaz y lo utilizó como excusa en 2023 para que OpenAI avanzara lo más rápido posible.

Esta excusa demostró ser infundada cuando el mismo Sam Altman se apresuró a construir muchísimo más hardware de cómputo.

Creemos que este es un buen ejemplo de cómo los ejecutivos de las empresas de IA se aferran a cualquier argumento que consideren persuasivo para justificar su avance acelerado. Creemos que la mayoría de estos argumentos pueden descartarse por sus propios méritos, y recomendamos no dar más importancia a un argumento solo porque lo haya planteado un ejecutivo de una empresa de IA.