Fine-tuning borra cadenas de razonamiento mientras la precisión se mantiene alta

Cuando haces fine-tuning de un modelo de razonamiento en datos de instrucción-respuesta, lo conviertes de nuevo en un LLM estándar — uno que alcanza tus objetivos de precisión mientras pierde las cadenas de razonamiento intermedio estructurado que justificaban desplegar un modelo de razonamiento en primer lugar. Investigadores de King's College London han documentado este modo de fallo en un preprint publicado el 20 de mayo, llamándolo colapso de traza de razonamiento y demostrando que las evaluaciones convencionales solo de respuesta no lo detectarán.

Los modelos de razonamiento se entrenan para emitir razonamiento explícito dentro de un bloque de traza estructurado antes de generar una respuesta final. Los conjuntos de datos de fine-tuning en producción casi nunca están anotados con tales trazas: son pares instrucción-respuesta. Cuando se entrena en estos datos a través de fine-tuning supervisado estándar, el modelo puede minimizar la pérdida cross-entropy omitiendo la traza completamente e ir directamente a la respuesta. El resultado es un modelo que aprueba la evaluación convencional pero ya no razona explícitamente. Los autores estudiaron cuatro modelos de peso abierto en ejecuciones SFT dirigidas a preguntas científicas, razonamiento matemático y generación de código. Las tasas de traza válida cayeron en múltiples configuraciones mientras la precisión de respuesta final disminuyó solo modestamente.

El artículo introduce un framework de evaluación estructural que clasifica cada generación en una de cuatro categorías: traza de razonamiento válida, traza vacía (bloque presente pero en blanco), traza ausente (bloque ausente), o traza truncada (razonamiento cortado a mitad de cadena). La métrica clave es pass@1 condicionado al razonamiento — precisión computada solo sobre respuestas donde se produjo una traza de razonamiento válida. En varios escenarios, el pass@1 condicionado al razonamiento se mantuvo alto conforme la tasa de traza válida colapsó, lo que significa que el modelo aún razonaba correctamente cuando razonaba. El pass@1 incondicional estándar enmascaró esta brecha, haciendo que un modelo degradado se viera aceptable.

El equipo empaqueta el framework como ThinkPack, una biblioteca que proporciona utilidades agnósticas del modelo para construcción de prompts, extracción y validación de trazas, computación de métricas y enmascaramiento de pérdida. Diferentes modelos de razonamiento usan diferentes plantillas de chat y convenciones para delimitar contenido de traza. ThinkPack abstrae esas diferencias para que el mismo pipeline de evaluación y mitigación funcione en familias de modelos de razonamiento sin adaptadores personalizados por modelo.

La mitigación es operacionalmente barata. Aplicar enmascaramiento de pérdida durante el fine-tuning — estructurando el objetivo de entrenamiento para que el modelo se entrene a través de la traza de razonamiento en lugar de ser penalizado por producirla en datos sin traza — preserva las tasas de traza válida sin requerir destilación o anotaciones generadas por un maestro. La destilación es la alternativa de oro estándar: regenerar tu corpus de entrenamiento a través de un maestro con capacidad de razonamiento, luego hacer fine-tuning en ese conjunto de datos aumentado. Para conjuntos de datos privados, especializados o costosos de aumentar, ese enfoque es a menudo impracticable. El enmascaramiento de pérdida logra la mayoría del beneficio de preservación al costo de una modificación solo en el bucle de entrenamiento.

Las preguntas abiertas son escala y cobertura de tareas. El estudio apunta a cuatro modelos de peso abierto y tres dominios de tareas. Si modelos más grandes o instruction-tuning a volúmenes de datos más altos muestran diferentes curvas de colapso no ha sido estudiado. El artículo también se enfoca en la validez estructural de trazas en lugar de calidad semántica o fidelidad, que es un problema de evaluación separado que el framework explícitamente posterga. Los equipos que hacen fine-tuning en LoRA en lugar de SFT completo no tienen resultados reportados.

Añade tasa de traza válida y pass@1 condicionado al razonamiento a tu pipeline de evaluación de fine-tuning antes de enviar cualquier modelo de razonamiento post-entrenado. El enmascaramiento de pérdida es una modificación en el bucle de entrenamiento que obtiene la mayoría del beneficio de preservación que la destilación te daría a una fracción del costo.