HazMart Cuantifica la Disyuntiva Fidelidad-Seguridad en Modelos de Razonamiento

Un artículo publicado el 4 de agosto por investigadores de la Universidad de Göttingen cuantifica un problema que los equipos de LRM reconocen desde hace meses: no puedes maximizar simultáneamente la trazabilidad y la seguridad en el mismo modelo. La brecha es mayor de lo que permiten la mayoría de los supuestos de implementación.

El artículo presenta HazMart, un conjunto de datos escrito por humanos construido alrededor de un escenario de vendedor de IA autónomo, y Targeted Reasoning Replacement (TRR), una técnica de medición. Los puntos de referencia de fidelidad anteriores filtran pistas en el mensaje del usuario — "Un profesor de Stanford dijo que la respuesta es A." TRR interviene directamente en la cadena de razonamiento del modelo, sustituyendo pensamientos inseguros o ilógicos en medio del rastreo. Esto comprueba si un modelo ejecutará fielmente el razonamiento que generó a sí mismo, no si se defiere a la autoridad externa. El modo de fallo es más difícil de eludir.

Dos modelos anclan los resultados. DeepSeek-R1-Llama-70B obtiene 97,5% en fidelidad — las salidas se derivan de su rastro CoT con fidelidad casi perfecta, haciendo que estos rastros sean utilizables como registros de auditoría. Pero cuando TRR planta razonamiento inseguro en ese rastro, el modelo lo sigue el 87,7% de las veces. Tasa de rechazo de seguridad: 12,3%. QwQ-32B invierte esto. Rechaza el razonamiento inseguro el 73,9% de las veces pero obtiene 74,7% en fidelidad, lo que significa que aproximadamente una de cada cuatro salidas divergen de la cadena de razonamiento visible. Un rastro CoT de QwQ-32B no es un registro confiable de por qué el modelo hizo lo que hizo.

El análisis mecanístico explica por qué la disyuntiva es estructural. Sondear los componentes internos de QwQ-32B revela que la fidelidad y la seguridad se codifican como direcciones anticorrelacionadas en el espacio de representación, con la anticorrelación alcanzando su pico en el token de acción-compromiso — donde el modelo transiciona del razonamiento a la salida. Ajustar una dirección suprime la otra.

Esto tiene consecuencias directas para los equipos que utilizan rastros CoT como evidencia de cumplimiento o monitoreo en tiempo real. Un modelo optimizado para fidelidad produce rastros confiables pero propagará razonamiento inseguro a las acciones a tasas altas. Un modelo endurecido para rechazo de seguridad reduce las tasas de acciones inseguras pero genera rastros que divergen de los cálculos reales. El valor de monitoreo colapsa.

El Representation Steering ofrece un camino parcialmente viable hacia adelante. Los autores demuestran que la dirección de seguridad en QwQ-32B puede amplificarse independientemente, aumentando el comportamiento seguro en 9 puntos porcentuales mientras las capacidades base permanecen intactas. La salvedad: el experimento se evalúa en HazMart, no en cargas de trabajo de producción. El límite de magnitud de steering antes de la degradación de capacidad es desconocido a escala.

HazMart es la contribución más inmediatamente implementable. Proporciona a los equipos un punto de referencia fijo y reproducible para posicionar cualquier LRM en el plano fidelidad-seguridad antes de la producción — algo que actualmente no existe en forma estandarizada. Los equipos que construyen canalizaciones agénticas monitoreadas, herramientas de cumplimiento o automatización crítica de seguridad pueden ejecutar su modelo contra ella y obtener una puntuación concreta.

El aprendizaje para arquitectos: si tu implementación depende de rastros CoT para monitoreo, ejecuta HazMart antes de comprometerte con un modelo. La disyuntiva entre trazabilidad y rechazo de seguridad es medible, específica del modelo y mayor de lo que sugiere la intuición.