Nueva Herramienta Detecta 1,060 Dependencias de Entrenamiento Ocultas en Principales LLM

Investigadores de la Universidad de California en Berkeley e el Instituto Allen para la IA han presentado ModSleuth, un sistema de código abierto que reconstruye gráficos de dependencias en tiempo de entrenamiento a partir de artefactos públicos. La herramienta se utilizó para auditar cuatro lanzamientos recientes de grandes modelos de lenguaje (LLM), identificando 1,060 enlaces de origen verificados en la parte superior y revelando cadenas de artefactos que no capturan las tarjetas de modelo y hojas de datos tradicionales.

ModSleuth, un paquete de CLI para Python 3.11+ instalable mediante pip, opera a través de una tubería de ocho etapas: descubrir, extraer, organizar, auditar, relacionar, reconciliar, triaje, fusionar, utilizando Claude Opus 4.7 (planificador) y Claude Sonnet 4.6 (subagente) para los propios audits del documento. El sistema procesa lanzamientos públicos heterogéneos, empleando estrategias configurables como BFS, DFS o búsqueda de haz, y almacena la procedencia en una base de datos gráfica SQLite local y un almacén de código fuente direccionado por contenido. También incluye un visor para subgrafos enfocados en el puerto 8102 y comandos para monitorear el uso de tokens y el estado del sistema.

El documento de arXiv que detalla los audits de DR Tulu, SmolLM3, Olmo 3 y Qwen3 32B expone riesgos como problemas de licencia, contaminación y circularidad que las suites de descontaminación estándar pasan por alto. Por ejemplo, los datos de ajuste supervisionado de DR Tulu se rastrean hasta Claude Sonnet 3.7 a través de la tubería ScholarQA. El conjunto de datos FineMath de SmolLM3 lleva una obligación de licencia Llama transitiva a través de un clasificador entrenado con Llama en la parte superior, creando una exposición de cumplimiento que las hojas de datos planas no detectan. Olmo 3 se entrena en datos sintéticos derivados de IFEval mientras se compara con IFEval, un acoplamiento de entrenamiento-evaluación que las descontaminaciones estándar pasan por alto porque cruza límites de artefactos. Qwen3 32B sirve como su propio generador de optimización de preferencias directas y juez de RL, formando una auto-dependencia circular.

ModSleuth enfrenta desafíos operativos, requiriendo modelos de Claude de 1M-contexto de vanguardia para razonar a través de documentación fragmentada, con un planificador que impone un tiempo de silencio de 1,800 segundos antes de volver a intentar automáticamente. La CLI expone el seguimiento del gasto de tokens, aunque el documento no informa de los costos por auditoría. El sistema se limita a artefactos públicos y no puede acceder a tuberías de datos sintéticos privados, llamadas de API de proveedor no documentadas o configuraciones internas de jueces, dependencias que representan una responsabilidad empresarial significativa. ModSleuth aborda la brecha de linaje de entrenamiento ignorada por las herramientas tradicionales de SBOM y análisis de composición de software, pero no mitiga la exposición en tiempo de ejecución.