Novo Método de Verificação Atinge 86,5% em Terminal-Bench Sem Ajuste Fino

Pesquisadores de Berkeley, Stanford e NVIDIA relataram notas de verificação de ponta, de 78,2% no SWE-Bench Verificado e 86,5% no Terminal-Bench V2, tratando grandes modelos de linguagem (LLMs) como verificadores probabilísticos contínuos em vez de corretores de critérios discretos, sem ajuste fino específico da tarefa. O quadro LLM-como-Verificador, apresentado por Kwok et al., calcula a expectativa sobre a distribuição de logits dos tokens de pontuação para produzir uma pontuação contínua, oferecendo granularidade mais fina do que um juiz discreto.

O método requer acesso a logits de tokens brutos, o que limita sua aplicabilidade a arquiteturas que mostram saídas amostradas ou logprobs top-k sem modificação. Inferência auto-hospedada por vLLM, SGLang ou motores equivalentes com visibilidade total de logits é necessária. Os autores também fornecem uma extensão de Código Claude para expor feedback do verificador durante o desenvolvimento agentico, embora o modelo base para as chamadas do verificador não esteja especificado.

O artigo omite métricas operacionais, como latência por passagem de verificação, custo por milhão de tokens avaliados, taxa de transferência sob decomposição de critérios e horas de GPU consumidas por amostragem repetida. Os resultados do benchmark incluem 87,4% no RoboRewardBench e 73,3% no MedAgentBench, mas sem detalhes sobre as chamadas de inferência necessárias. Se a decomposição de critérios e a avaliação repetida aumentarem o orçamento de inferência significativamente, o verificador pode se tornar o componente mais caro em um loop de agente, e sem dados de custo, desenhar a fronteira de precisão-por-dólar é impossível.

O quadro oferece orientação de engenharia para integrações de aprendizado por reforço, usando a saída contínua do verificador como um sinal de recompensa para Soft Actor-Critic em robótica e GRPO no raciocínio matemático, substituindo recompensas codificadas manualmente esparsas. Isso posiciona o LLM-como-Verificador como um crítico online dentro do loop de treinamento, alterando o design da pilha para um serviço sensível à latência co-localizado com o cluster de treinamento.

O artigo não aborda completamente o imposto de inferência, pois a avaliação repetida e a decomposição de sub-critérios significam mais passagens para a frente, contextos de prompt mais longos e maior pressão de memória na camada de serviço. Para fluxos de trabalho agenticos em tempo real, adicionar uma etapa de verificação sequencial pode fazer com que a latência p99 da etapa ultrapasse os objetivos de nível de serviço. Também não está claro se os ganhos na pontuação contínua se mantêm para modelos de peso aberto de tamanho médio em comparação com modelos de classe fronteira; os benchmarks mostram o teto de precisão, não a efetividade de custo em escala.

Antes de adotar esse padrão, os arquitetos precisariam ver a latência por verificação no hardware padrão H100, uma quebra de custo de token em comparação com uma linha de base simples de LLM-como-Juiz e ablaçações provando que o sinal permanece forte quando o acesso aos logits está restrito a inferência ciente de quantização, como FP8 ou INT8.