¿Qué se necesitaría para detener el desarrollo global de la IA? | Si alguien la crea, todos moriremos | If Anyone Builds It, Everyone Dies

¿Qué se necesitaría para detener el desarrollo global de la IA?

No somos expertos en derecho internacional, y este es un tema tremendamente complicado que prevemos que requerirá un gran esfuerzo por parte de expertos en la materia. Sin embargo, con el fin de poner en marcha el proceso rápidamente, hemos trabajado con nuestro equipo de gobernanza técnica y con asesores externos para elaborar algunos esbozos y conjeturas sobre medidas que podrían ser eficaces.

Las ofrecemos con el ánimo de fomentar la conversación, el debate, la crítica y la iteración. Estas ideas preliminares no deben considerarse en modo alguno firmes ni definitivas.

Como primer paso, analicemos las restricciones y la naturaleza del problema que intentamos resolver, un tema que por sí solo podría ocupar un libro entero. Durante décadas, el problema general ha consistido en impedir el desarrollo de la superinteligencia artificial. Y como no sabemos dónde están los umbrales críticos, eso equivale esencialmente a detener por completo la investigación y el desarrollo de la IA.

Los avances actuales en IA se deben a una combinación de factores: la creación de mejores chips informáticos, el uso de más chips durante más tiempo para entrenamientos más largos y la mejora de los algoritmos de IA. Abordaremos cada uno de estos factores por separado y explicaremos las palancas correspondientes para detener el avance hacia la superinteligencia artificial.

Evitar el desarrollo de más y mejores chips de IA

Aumentar las capacidades de las IA modernas requiere una enorme inversión en poder de cómputo y energía eléctrica. Como resultado, parece posible que los actores estatales modernos identifiquen y supervisen todas las instalaciones relevantes y eviten la aparición de nuevas instalaciones de este tipo, con un impacto mínimo en el hardware de consumo.

La cadena de suministro para la producción de chips de IA avanzados está extremadamente concentrada. En algunos de sus eslabones, solo hay una empresa en el mundo capaz de desempeñar esa función, y estas empresas se encuentran en su mayoría en países tradicionalmente aliados con Estados Unidos.

Por ejemplo, solo unas pocas empresas pueden fabricar chips de IA —principalmente la empresa taiwanesa TSMC—, y una de las máquinas clave utilizadas en los chips de alta gama solo la produce la empresa neerlandesa ASML. Se trata de la máquina de litografía ultravioleta extrema, que tiene el tamaño de un autobús escolar, pesa 200 toneladas y cuesta cientos de millones de dólares.

Esta cadena de suministro es el resultado de décadas de innovación e inversión, y se prevé que replicarla sea bastante difícil: probablemente llevaría más de una década, incluso para los países tecnológicamente avanzados.

Los chips de IA más avanzados también son bastante especializados, por lo que su seguimiento y supervisión tendrían pocos efectos de desbordamiento. El chip H100 de NVIDIA, uno de los chips de IA más comunes a mediados de 2025, cuesta alrededor de 30 000 dólares por unidad y está diseñado para funcionar en un centro de datos debido a sus requisitos de refrigeración y alimentación. Estos chips están optimizados para realizar las operaciones numéricas que implican el entrenamiento y el funcionamiento de las IA, y suelen tener un rendimiento decenas a miles de veces superior al de las computadoras estándar (CPU de consumo) en cargas de trabajo de IA. *

La concentración y la complejidad de la cadena de suministro de chips de IA hacen que detener el desarrollo de la IA avanzada sea más fácil de lo que cabría esperar. Sería sencillo detener la producción de nuevos chips de IA. Bastaría con una supervisión mínima de un pequeño número de proveedores clave para garantizar que no se creen cadenas de suministro secretas, dada la complejidad y la interconexión del proceso de producción.

Parte de la misma infraestructura se utiliza para producir chips de IA y otros chips informáticos avanzados (como los chips de teléfonos móviles), pero existen diferencias notables entre ellos. Si se detuviera la producción de chips de IA avanzados, sería factible supervisar y garantizar que la producción de chips en curso se limitara a crear únicamente chips no especializados en IA.

Los chips de IA especializados preexistentes podrían supervisarse si se conservan y se utilizan para ejecutar IA existentes, como ChatGPT. Garantizar que dichos chips solo se utilicen para ejecutar IA de baja capacidad (en lugar de para nuevos proyectos de investigación y desarrollo) sería un reto, pero no insuperable. Se podría rastrear y supervisar la ubicación de los chips existentes, y existen varios mecanismos potenciales que podrían utilizarse para verificar para qué se están utilizando esos chips. Este tipo de supervisión requiere acceso físico a los chips (por ejemplo, inspectores que realicen mediciones en un centro de datos). El acceso remoto podría ser suficiente para verificar si los nuevos chips se fabricaron con una seguridad mejorada y se diseñaron teniendo en cuenta la verificación y la supervisión. Como se analiza en la siguiente sección, las concentraciones de chips necesarias para que sean peligrosos (al nivel de los algoritmos de IA de agosto de 2025) son tan grandes que no sería difícil para los actores estatales detectar todas esas instalaciones y someterlas a inspecciones periódicas.

Evitar el uso de más y mejores chips de IA

Pasemos ahora de la producción de chips a su uso: los mayores centros de datos de IA actuales albergan cientos de miles de chips de IA, que cuestan miles de millones de dólares. Para entrenar a una de las IA más potentes de la actualidad, estos chips deben utilizarse durante meses seguidos.

Cada uno de estos chips tiene un consumo energético similar al de un hogar estadounidense medio, por lo que un centro de datos con cientos de miles de chips tiene un consumo energético comparable al de una pequeña ciudad. Para alimentar todos estos chips se requiere una infraestructura eléctrica especializada, como grandes líneas de transmisión. Estos centros de datos también son edificios bastante grandes, con huellas térmicas distintivas generadas por el funcionamiento y la refrigeración continuos de un gran número de chips de alto consumo energético.

Internamente, estos centros de datos albergan sus miles de chips en racks de servidores y cuentan con una amplia infraestructura de refrigeración para garantizar que no se sobrecalienten. Si alguien entrara a uno de estos edificios, sería extremadamente claro que es un centro de datos. No es como si su propósito pudiera ocultarse a los monitores internacionales que vinieran a inspeccionar, especialmente si comprueban los chips del centro de datos y descubren que son chips especializados en IA.

Los grandes centros de datos y su infraestructura energética relacionada son tan grandes que pueden ser identificados por satélites en órbita. Esto significa que, si los gobiernos quisieran localizar los grandes centros de datos actuales, probablemente podrían hacerlo con una alta tasa de éxito, tanto si esos centros de datos se encuentran dentro de sus fronteras como en otros países. Aunque el estado del conocimiento público es limitado, esta intervención por sí sola podría localizar la mayoría de los chips de IA de alta gama.

En el futuro, los Estados podrían intentar ocultar sus centros de datos para dificultar su identificación mediante satélites. Por ejemplo, podrían ocultar un centro de datos en una montaña (como en el complejo Cheyenne Mountain, que alberga el NORAD), donde no sería visible desde arriba. Aun así, sería difícil ocultar la infraestructura necesaria para su funcionamiento.

El principal factor que favorece la detección es que los centros de datos tienen un consumo eléctrico muy elevado. Esta energía suele suministrarse a través de líneas de transmisión, que casi siempre son aéreas. Es posible soterrar las líneas de transmisión, pero es mucho más costoso y requiere más tiempo, y las obras de soterramiento también son difíciles de ocultar.

Mientras se sigan necesitando más de 100 000 chips para entrenar una IA de vanguardia, parece bastante posible que los actores estatales detecten y monitoricen todos los centros de datos relevantes.

Prevención del progreso algorítmico

Los algoritmos de IA más eficientes pueden reducir los recursos computacionales necesarios para entrenar una IA, o pueden permitir la producción de IA más capaces utilizando una cantidad determinada de recursos computacionales, o ambas cosas.

El progreso algorítmico está impulsado principalmente por la investigación y la ingeniería, que en la actualidad dependen de la habilidad y el esfuerzo humanos. Las aptitudes necesarias para mejorar los algoritmos de IA son relativamente escasas, lo que explica los elevados salarios que cobran los mejores investigadores del sector.

Aunque estas habilidades son poco comunes hoy en día, no está claro cómo podría cambiar esto a medida que más investigadores se incorporen al campo y se haga público más conocimiento. Dependiendo de cómo se quiera contar el número de personas con las habilidades necesarias, la cifra real probablemente sea de cientos o unos pocos miles (por ejemplo, basándose en el número de investigadores e ingenieros de IA en las principales empresas de la industria). Las estimaciones conservadoras podrían ser mucho más altas: por ejemplo, hay decenas de millones de ingenieros de software en el mundo.

Las intervenciones legales y sociales podrían ralentizar drásticamente el progreso algorítmico. La mayoría de la gente no quiere infringir la ley, especialmente cuando hay consecuencias reales. Si fuera ilegal publicar ciertas investigaciones sobre IA o realizar diversos experimentos de IA basados en los riesgos catastróficos que plantea una IA suficientemente capaz, esto probablemente disuadiría a casi todos los potenciales investigadores en IA. Los gobiernos podrían implementar controles de exportación que harían ilegal compartir o publicar dichas investigaciones sin una licencia de exportación y la aprobación gubernamental.

Los tabúes sociales también ayudarían. Como precedente, podemos considerar la Conferencia de Asilomar sobre el ADN recombinante de 1975, que tuvo como resultado una prohibición voluntaria de ciertos experimentos biológicos que se consideraban excesivamente riesgosos. En teoría, los científicos podrían instaurar una prohibición voluntaria del avance de las capacidades de la IA. Sin embargo, esto requeriría que estos científicos se tomaran en serio el peligro que entraña una IA más inteligente que los humanos, lo que supondría un alejamiento del statu quo, en el que el avance de las capacidades de la IA es alabado en muchos círculos. Dados los incentivos económicos miopes y el comportamiento observado hasta la fecha en los laboratorios, parece muy probable que sean necesarias restricciones legales externas, a menos que la cultura del campo cambie drásticamente (y en poco tiempo).

Un componente fundamental para que una prohibición imperfecta sea eficaz puede ser algo tan obvio como asegurarse de que los líderes mundiales comprendan realmente que ellos y sus familias morirán si siguen adelante. Los escenarios de incumplimiento más probables son aquellos en los que los gobiernos ven la superinteligencia desarrollada internamente como un activo estratégico (o como un espejismo que los distrae de nuevas y rentables herramientas de IA), en lugar de como un botón de suicidio global. Es mucho menos probable que los gobiernos lleven a cabo proyectos secretos de investigación sobre la superinteligencia si ven correctamente que esto equivale a cargar un arma, apuntarse a la cabeza y apretar el gatillo.

Las prohibiciones a la investigación no detendrían a todo el mundo. Algunos científicos y ejecutivos destacados del sector tecnológico ya han dicho que destruir a la humanidad es un precio aceptable a cambio del progreso. Pero no debemos dejar que lo perfecto sea enemigo de lo bueno. Los avances algorítmicos, como mínimo, se ralentizarían si a esas personas se les retirara el financiamiento y fueran rechazadas por sus colegas, lo que las obligaría a realizar su letal investigación al margen de la ley y sin la colaboración de ninguno de sus colegas más íntegros.

Cuanto más tardemos, más difícil será

Si la producción y distribución de chips de IA continúan en su trayectoria actual, el reto de garantizar que haya suficientes chips de IA centralizados y supervisados solo se volverá más difícil. Aunque los Estados aún no estén convencidos de los riesgos, empezar hoy a realizar un seguimiento internacional de los chips de IA significa que la intervención seguirá siendo posible en el futuro. Esa ventana podría cerrarse pronto si los gobiernos no actúan con rapidez.

Si se permite a los investigadores seguir mejorando los algoritmos de IA, es probable que una cantidad cada vez menor de chips de IA sea suficiente para constituir una grave amenaza. Cuando los sistemas de IA sean capaces de automatizar partes del proceso de I+D de la IA, podría resultar especialmente difícil controlar su desarrollo. Dichos sistemas podrían copiarse y distribuirse fácilmente, y el hardware necesario para ejecutarlos podría no ser considerable. (Los requisitos de hardware para ejecutar sistemas de IA son mucho menores que los necesarios para entrenarlos).

Con el tiempo, podría volverse imposible para los gobiernos del mundo detener el desarrollo de sistemas de IA superinteligentes. Aún no hemos llegado a ese punto, pero cada mes se hace más difícil. El plan que esbozamos se basa en la premisa de detener el desarrollo de la IA pronto. Hay otros planes que no se basan en este supuesto, pero son más difíciles de implementar, tienen costos más altos para las libertades personales y conllevan una mayor probabilidad de fracaso.

* A veces se utilizan para otras tareas de cómputo intensivo, como simulaciones físicas y meteorológicas, pero se utilizan principalmente para la IA. Un método rápido para estimar cuántos chips de IA se utilizan para actividades no relacionadas con la IA es observar los ingresos a lo largo del tiempo del principal fabricante de chips, NVIDIA. Si asumimos que el reciente auge de la demanda de sus GPU para centros de datos se debe casi en su totalidad a usos de IA —una suposición razonable, dado el enorme auge reciente de la industria de la IA y la falta de una tendencia comparable en otros campos que utilizan estos chips—, concluiríamos que la IA representa la gran mayoría del uso de chips de IA, ya que el reciente crecimiento de los ingresos eclipsa los ingresos anteriores. Impedir la fabricación de chips de IA especializados no tiene por qué tener un gran efecto en el hardware de consumo.

Otra posible intervención, suponiendo que el número de investigadores del progreso algorítmico de la IA siga siendo reducido (es decir, de cientos o miles), sería pagar a estos investigadores para que orientaran sus esfuerzos hacia usos no relacionados con la IA o hacia la investigación sobre capacidades o alineación de la IA que tuviera un riesgo agregado insignificante. Existe un precedente de este tipo de intervención en la década de 1990, cuando el Gobierno de Estados Unidos puso en marcha una iniciativa para canalizar el trabajo de antiguos científicos y técnicos armamentísticos soviéticos hacia actividades productivas y no militares.

Notes

[1] difíciles de ocultar: Es posible generar energía in situ, eliminando así cualquier línea de transmisión visible. El actual complejo de Cheyenne Mountain utiliza generadores a diésel y probablemente tiene la capacidad para suministrar energía a alrededor de 10 000 de los chips de IA más avanzados. Pero el funcionamiento continuo de estos chips para un entrenamiento a gran escala requeriría un suministro constante de combustible, lo que podría notarse. Según cálculos aproximados, estos 10 000 chips requerirían aproximadamente un camión cisterna al día. Incluso si existiera la capacidad de generación local para alimentar 200 000 chips, se necesitarían 20 camiones cisterna de diésel al día.

[2] progreso algorítmico:Ejemplos de este tipo de progreso incluyen FlashAttention, un algoritmo que hace que los chips de IA ejecuten un determinado conjunto de operaciones matemáticas de forma más eficiente aprovechando los detalles del diseño de los chips de IA; Mixture-of-Experts, un cambio en la arquitectura de las IA que hace que solo se utilice un subconjunto de sus parámetros en cada token de entrada (por ejemplo, una palabra); y GRPO, un método para el ajuste fino de las IA.

¿Tu pregunta no fue respondida aquí?Envía una pregunta.