Artículo IV: Entrenamiento de IA | Si alguien la crea, todos moriremos | If Anyone Builds It, Everyone Dies

Artículo IV: Entrenamiento de IA

  1. Cada una de las Partes acuerda prohibir el entrenamiento de IA por encima de los siguientes umbrales: cualquier ejecución de entrenamiento superior a 1e24 FLOP o cualquier ejecución posterior al entrenamiento superior a 1e23 FLOP. Cada una de las Partes acuerda no realizar ejecuciones de entrenamiento por encima de estos umbrales y no permitir que ninguna entidad bajo su jurisdicción las realice.
    1. La Secretaría Técnica podrá modificar estos umbrales, de conformidad con el proceso descrito en el artículo III. El Consejo Ejecutivo podrá vetar dichas decisiones por mayoría de dos tercios.
  2. Cada una de las Partes notificará a la AISI cualquier ejecución de entrenamiento de entre 1e22 y 1e24 FLOP antes de su inicio. Esto se aplica a las ejecuciones de entrenamiento realizadas por la Parte o cualquier entidad dentro de su jurisdicción.
    1. Este informe deberá incluir, entre otros datos, todo el código de entrenamiento y una estimación del total de FLOP que se utilizará. La Parte deberá proporcionar al personal de la AISI acceso supervisado a todos los datos, con un registro de acceso adecuado a la sensibilidad de los datos y protecciones contra la duplicación o la divulgación no autorizada. No proporcionar al personal de la AISI acceso suficiente a los datos será motivo para denegar la ejecución del entrenamiento, a discreción de la AISI. La AISI podrá solicitar cualquier documentación adicional relacionada con la ejecución del entrenamiento. La AISI también preaprobará un conjunto de pequeñas modificaciones que podrían realizarse al procedimiento de entrenamiento durante el entrenamiento. Cualquier cambio de este tipo se comunicará a la AISI en el momento de su realización.
    2. La falta de respuesta de la AISI transcurridos 30 días constituirá la aprobación; no obstante, la AISI podrá prorrogar este plazo si notifica que necesita tiempo adicional para su revisión. Estas prórrogas no tienen límite, pero las Partes podrán recurrir los retrasos excesivos ante el Director o el Consejo Ejecutivo.
    3. La AISI podrá supervisar dichas ejecuciones de entrenamiento, para lo cual la Parte le proporcionará, previa solicitud, los puntos de control del modelo, incluido el modelo final entrenado [los detalles iniciales de dicha supervisión deberán describirse en un anexo].
    4. En caso de que la supervisión indique capacidades o comportamientos preocupantes por parte de la IA, la AISI podrá ordenar la pausa de una ejecución de entrenamiento o un tipo de ejecuciones de entrenamiento hasta que considere seguro reanudarlas.
    5. La AISI mantendrá prácticas de seguridad robustas. La AISI no compartirá información sobre las ejecuciones de entrenamiento declaradas a menos que determine que el entrenamiento declarado viola el Tratado, en cuyo caso proporcionará a todas las Partes en el Tratado información suficiente para determinar si se ha producido una violación.
    6. En caso de que una Parte descubra una ejecución de entrenamiento que supere los umbrales designados, deberá notificarla a la AISI y detenerla (si está en curso). Dicha ejecución solo podrá reanudarse con la aprobación de la AISI.
  3. Cada una de las Partes, y las entidades bajo su jurisdicción, podrán realizar ejecuciones de entrenamiento de menos de 1e22 FLOP sin la supervisión o aprobación de la AISI.
  4. La AISI podrá autorizar, por mayoría de dos tercios del Consejo Ejecutivo, excepciones específicas para actividades como evaluaciones de seguridad, vehículos autónomos, tecnología médica y otras actividades que el Director General considere seguras. Estas excepciones podrán permitir ejecuciones de entrenamiento superiores a 1e24 FLOP con la supervisión de la AISI, o una presunción de aprobación por parte de la AISI para ejecuciones de entrenamiento de entre 1e22 y 1e24 FLOP.

Notas

Una de las principales formas de mejorar las IA actuales es aumentar los recursos computacionales dedicados al entrenamiento de la IA. Restringir estos recursos y limitar la investigación sobre el progreso algorítmico (descrita en el artículo VIII) puede reducir el riesgo de que se construya una IA más inteligente que los humanos a corto plazo.

La prohibición se basa en el número de operaciones computacionales utilizadas, ya que esto es relativamente fácil de definir y medir, y el rendimiento de los modelos de IA de última generación existentes nos proporciona algunos datos sobre las cantidades de hardware de computación que parecen seguras utilizando los algoritmos actuales.

En un mundo perfecto, limitaríamos el entrenamiento en función de las capacidades del sistema entrenado. Pero nadie tiene la capacidad técnica para predecir con certeza lo que una nueva IA será capaz de hacer o no hacer antes de que sea entrenada. Por lo tanto, los recursos computacionales se utilizan como sustituto.

La prohibición estricta de 1e24 FLOP para el entrenamiento está ligeramente por debajo de la cantidad de recursos computacionales utilizada para modelos cercanos al estado del arte en agosto de 2025, como DeepSeek-V3 con 3e24 FLOP. Elegimos este umbral porque está por debajo del nivel en el que esperamos que las IA sean peligrosas (dados los algoritmos actuales) y porque proporciona cierto margen de maniobra si se produce un progreso algorítmico moderado.

La prohibición del posentrenamiento por encima de 1e23 FLOP se aplica a las IA creadas antes de la entrada en vigor del tratado. Muchas de estas IA se habrán creado utilizando más de 1e24 FLOP (a mediados de 2025 hay entre 50 y 100 modelos de este tipo). Dado que los pesos de muchas de estas IA se habrán publicado abiertamente, no es factible impedir que la gente las utilice, pero sí se puede impedir que se les realicen grandes modificaciones mediante el posentrenamiento.

Una ejecución de entrenamiento de 1e22 FLOP en 16 H100 duraría alrededor de una semana. Esto requiere tanto poder de cómputo que los aficionados no superarán accidentalmente el umbral al entrenar modelos pequeños y permitidos. Las IA entrenadas a esta escala (con los algoritmos actuales) hasta ahora han parecido estar lejos de ser peligrosas. El progreso de la investigación en algoritmos de IA, si no se impide su realización y difusión, podría situar a la humanidad en un régimen aún más peligroso, lo que requeriría prohibiciones dirigidas a actividades que actualmente podrían llevar a cabo pequeños grupos decididos y dispuestos a realizar gastos sustanciales.

Dentro de la banda de 1e22-1e24 FLOP, la AISI recibiría por adelantado el código de entrenamiento y las estimaciones totales de FLOP. Esto le permitiría aprobar la ejecución de entrenamiento si no utiliza ningún método algorítmico novedoso.

El entrenamiento de una IA suele implicar pequeñas correcciones de errores sobre la marcha (como instalar la versión correcta de una librería o reordenar los datos de entrenamiento). La AISI puede preaprobar un conjunto de pequeñas modificaciones a una ejecución de entrenamiento que no requeriría una nueva aprobación. Aun así, estas modificaciones se seguirían comunicando a la AISI.

La obligación de informar y supervisar las ejecuciones de entrenamiento de entre 1e22 y 1e24 FLOP permitiría obtener algunos de los beneficios de entrenar IA de una manera que, por el momento, parece segura, al tiempo que evitaría la construcción de IA más grandes y potencialmente peligrosas.

La supervisión también permitiría a la AISI mantenerse (en cierta medida) al día de cualquier avance algorítmico que se produzca a pesar de las prohibiciones, y el artículo XIII estipula que la AISI realice evaluaciones de los modelos entrenados en este rango. Esto ayudará a la AISI a estar al tanto de las tendencias en el desarrollo de la IA, lo que, con suerte, le permitirá ajustar a la baja los umbrales de FLOP en caso necesario.

La supervisión de las ejecuciones de entrenamiento por parte de la AISI es factible y exigible gracias a la consolidación de chips (artículo V) y a la verificación del uso de chips (artículo VII). La consolidación de chips significa que la AISI tendrá acceso al hardware utilizado para las ejecuciones de entrenamiento a gran escala. La verificación del uso de chips permitirá a la AISI tener cierta confianza en que los chips solo se utilizan para entrenar IA con autorización.

El personal de la AISI tiene acceso a los datos de entrenamiento utilizados en las ejecuciones de entrenamiento supervisadas, sujeto a diversas restricciones. El propósito de dichas restricciones es garantizar el uso de registros y otros métodos de control para impedir la divulgación no autorizada del contenido sensible en los datos de entrenamiento, incluyendo, entre otros, información de identificación personal, información sanitaria personal, datos clasificados, secretos comerciales, datos bancarios sujetos a leyes de secreto bancario, etc.


Precedentes

Si bien los valores numéricos de los umbrales especificados en nuestro acuerdo pueden y deben revisarse cuando se supere la fase inicial del borrador, los límites cuantitativos son habituales en los acuerdos internacionales, lo que evita controversias que, de otro modo, dependerían de interpretaciones divergentes del lenguaje cualitativo.

El [Tratado de Prohibición de Pruebas de Umbral] de 1974 (https://2009-2017.state.gov/t/isn/5204.htm) estableció un límite de 150 kilotones para las pruebas nucleares subterráneas realizadas por Estados Unidos y la URSS.* El objetivo y el efecto de este tratado era, al menos en cierta medida, obstaculizar el desarrollo de ojivas nucleares más grandes y destructivas, capaces de arrasar ciudades enteras. Un paralelismo relevante con el desarrollo de la IA es que, a mediados de 2025, los modelos más generales y capaces —y, por lo tanto, más peligrosos— requieren ejecuciones de entrenamiento de mayor escala para su creación; nuestro tratado especifica límites destinados a impedir que se desarrollen intencionadamente tales IA, pero también a cosechar el beneficio esencial (aunque no paralelo) de reducir el riesgo de que se supere accidental e irremediablemente un umbral de capacidades imprevisto.

El límite de entrenamiento que hemos sugerido como punto de partida es lo suficientemente bajo como para que algunos modelos de IA entrenados hoy en día lo superen; consideramos que esto es prudente en previsión de los avances que harán que los nuevos modelos sean más capaces por unidad de entrenamiento (discutido en el artículo VIII). Los acuerdos de reducción de armas sientan un precedente para los umbrales establecidos por debajo del nivel máximo actual. El Tratado (Naval) de Washington de 1922 estableció límites de desplazamiento para los buques de guerra que obligaron a Estados Unidos y a otras potencias navales a desguazar docenas de buques capitales. En el artículo II del tratado START de 1991, Estados Unidos y la Unión Soviética (y más tarde, la Federación Rusa) acordaron limitar el tamaño de sus arsenales nucleares y sus sistemas de lanzamiento, lo que les obligó a eliminar gradualmente más de cuatro mil ojivas cada uno.

El precedente de establecer umbrales cuantitativos para limitar el potencial de irrupción se analizará en el artículo V.


* Estados Unidos y la URSS ya habían acordado detener otros tipos de ensayos con armas nucleares en 1963 con el Tratado por el que se prohíben los ensayos con armas nucleares en la atmósfera, el espacio ultraterrestre y debajo del agua, comúnmente denominado Tratado de Prohibición Parcial de los Ensayos Nucleares (LTBT) o Tratado de Prohibición de Ensayos.

El Tratado de Reducción de Armas Estratégicas se firmó en 1991 y entró en vigor en 1994. A cada signatario se le prohibió desplegar más de 6000 ojivas nucleares en un total de 1600 misiles balísticos intercontinentales y bombarderos.