1. Para los modelos de IA creados mediante entrenamiento o posentrenamiento declarado dentro de los límites del artículo IV, la AISI podrá exigir evaluaciones y otras pruebas. Estas pruebas servirán de base para determinar si es necesario revisar los umbrales establecidos en los Artículos IV, V, VII y VIII. Los métodos utilizados para dichas evaluaciones serán determinados por la AISI y podrán ser actualizados.
2. Las evaluaciones se llevarán a cabo en las instalaciones de la AISI o en los CCC supervisados, por funcionarios de la AISI. Se podrá informar a los funcionarios de las Partes en el Tratado sobre las pruebas que se realizan, y la AISI podrá proporcionar un resumen de los resultados de las pruebas. Las Partes no tendrán acceso a los modelos de IA que no hayan entrenado, salvo que el propietario del modelo les conceda acceso, y la AISI tomará medidas para garantizar la seguridad de la información confidencial.
3. La AISI podrá compartir información detallada con las Partes o con el público, si el Director General lo considera necesario para reducir el riesgo de extinción humana a causa de la IA avanzada.

Notas

El objetivo de este artículo es garantizar que la AISI se mantenga al día con el estado de la IA, en caso de que esta avance. Por ejemplo, revisar el entrenamiento declarado permitiría a la AISI comprender el nivel de capacidades de IA que se puede alcanzar con diferentes niveles de FLOP de entrenamiento.

Incluso con la prohibición de la investigación algorítmica, puede haber avances que no se puedan detener de manera efectiva, y la AISI deberá darles seguimiento. Además, la AISI debe supervisar los avances en la extracción de capacidades. Por ejemplo, podrían descubrirse nuevos métodos de instrucción (prompting) que hagan que una IA antigua funcione mucho mejor en algunas métricas de evaluación críticas. Estos son solo dos ejemplos de cambios en el panorama del desarrollo de la IA que podrían requerir cambios en los umbrales relevantes para los artículos IV y V, y cambios en las definiciones de investigación restringida del artículo VIII. Las revisiones detalladas en el artículo XIII son un mecanismo para que la AISI comprenda mejor el estado de las capacidades de la IA y responda de manera adecuada.

Un artículo de este tipo podría no ser estrictamente necesario, dadas las prohibiciones sobre los entrenamientos a gran escala y los avances algorítmicos. Sin embargo, las revisiones parecen una medida prudente y uno de los mecanismos que permitirían al mundo seguir utilizando IA modernas como ChatGPT sin arriesgarse a una carrera hacia la superinteligencia.

Estas revisiones de la AISI podrían incluir evaluaciones de capacidades peligrosas para asegurarse de que las IA no se vuelvan demasiado capaces en áreas específicas. También podrían examinar los datos de entrenamiento para verificar que las IA no se entrenen para tareas específicamente peligrosas (como la automatización de la investigación en IA) o, de otro modo, realizar pruebas para detectar comportamientos inesperados.

Precedentes

Los precedentes de las pruebas supervisadas exigidas por la AISI coinciden con los precedentes relativos a la verificación del uso de chips que se analizan en el artículo VII, siendo especialmente relevante el protocolo de intercambio de telemetría de misiles del START I. El componente añadido aquí en nuestro artículo XIII es el uso de los datos recopilados para fundamentar las recomendaciones sobre posibles ajustes de los umbrales (que podrían llevarse a cabo en virtud de los mecanismos con precedentes que analizamos en el artículo XIV).

En cuanto a la tensión inherente entre las divulgaciones al público (párrafo 3) y las disposiciones sobre la consolidación de la información de nuestro artículo X, observamos que la disposición de confidencialidad del artículo VII del Estatuto del OIEA^* no le ha impedido publicar informes periódicos y detallados sobre los principales avances en su ámbito de competencia y sus implicaciones para la seguridad mundial.