Nuevo Método de Verificación Logra 86.5% en Terminal-Bench Sin Ajuste Fino

Investigadores de Berkeley, Stanford y NVIDIA han informado puntajes de verificación de vanguardia del 78.2% en SWE-Bench Verificado y 86.5% en Terminal-Bench V2 al tratar a grandes modelos de lenguaje (LLM) como verificadores probabilísticos continuos en lugar de evaluadores de rúbricas discretas, sin ajuste fino específico de tarea. El marco LLM-como-un-Verificador, presentado por Kwok et al., calcula la expectativa sobre la distribución de logits de puntuación de tokens para producir una puntuación continua, ofreciendo una granularidad más fina que un juez discreto.

El método requiere acceso a logits de tokens sin procesar, lo que limita su aplicabilidad a arquitecturas que muestren salidas muestreadas o logprobs de top-k sin modificación. Es necesario un inferencia autoalojada a través de vLLM, SGLang u motores equivalentes con visibilidad completa de logits. Los autores también proporcionan una extensión de Código Claude para exponer retroalimentación del verificador durante el desarrollo agentico, aunque el modelo base para las llamadas del verificador no está especificado.

El documento omite métricas operativas como la latencia por paso de verificación, el costo por millón de tokens evaluados, el rendimiento bajo la descomposición de criterios y las horas de GPU consumidas por muestreo repetido. Los resultados del punto de referencia incluyen un 87.4% en RoboRewardBench y un 73.3% en MedAgentBench, pero sin detalles sobre las llamadas de inferencia requeridas. Si la descomposición de criterios y la evaluación repetida incrementan significativamente el presupuesto de inferencia, el verificador podría convertirse en el componente más costoso en un bucle de agente, y sin datos de costo, trazar el frente de precisión por dólar es imposible.

El marco ofrece orientación de ingeniería para integraciones de aprendizaje por refuerzo, utilizando la salida continua del verificador como una señal de recompensa para Soft Actor-Critic en robótica y GRPO en razonamiento matemático, reemplazando las recompensas codificadas a mano esparsas. Esto posiciona a LLM-como-un-Verificador como un crítico en línea dentro del bucle de entrenamiento, cambiando el diseño de la pila a un servicio sensible a la latencia coubicado con el clúster de entrenamiento.

El documento no aborda completamente el impuesto de inferencia, ya que la evaluación repetida y la descomposición de subcriterios significan más pasadas adelante, contextos de aviso más largos y mayor presión de memoria en la capa de servicio. Para flujos de trabajo agenticos en tiempo real, agregar un paso de verificación secuencial puede empujar la latencia de paso p99 más allá de los objetivos de nivel de servicio. También no está claro si los beneficios de la puntuación continua se mantienen para modelos de peso abierto de tamaño medio en comparación con modelos de clase fronteriza; los puntos de referencia muestran el techo de precisión, no la efectividad de costo a escala.

Antes de adoptar este patrón, los arquitectos necesitarían ver la latencia por verificación en hardware estándar H100, un desglose de costos por token en comparación con una línea de base simple de LLM-como-un-Juez, y ablajos que demuestran que la señal sigue siendo fuerte cuando el acceso a logits está restringido a inferencia consciente de cuantización como FP8 o INT8.