Julgadores de LLM Invertem 85% das Sentenças com Respostas de Referência

Julgadores de LLM invertem até 85% de suas sentenças sobre respostas abertas quando uma resposta de referência é adicionada à solicitação, de acordo com a pesquisa da Universidade de Potsdam e do Conselho Nacional de Pesquisas do Canadá. Isso indica que pipelines de avaliação sem referência estão inflando systematicamente as pontuações de correção.

Em um estudo de calibragem e sensibilidade em duas etapas em três idiomas, Kranti e Vajjala definiram três condições de avaliação: NR (sem referência), RV (referência visível) e RC (comparação de referência). Na condição sem referência, o modelo de julgador — confiando apenas em seu conhecimento paramétrico — muitas vezes marca tanto respostas candidatas corretas quanto incorretas como corretas. Ao introduzir a resposta de referência na solicitação, seja para visibilidade ou comparação explícita, o julgador muda a resposta incorreta para sua nota de reprovação adequada. A referência adicionada torna o julgador mais rigoroso, e uma comparação com anotações humanas mostra que a direção mais rigorosa geralmente alinha com o julgamento humano. Sem o âncora, o julgador dá crédito excessivo a respostas erradas.

A descoberta acrescenta a um crescente inventário de modos de falha específicos do julgador. Um estudo separado do Ant Group sobre viés de pontuação em testes de LLM como julgador testa múltiplos modelos de julgadores de arte da ponta, identificando viés de ordem de rubrica, viés de ID de pontuação e viés de pontuação de resposta de referência como distorções no nível do prompt que deslocam sentenças mesmo quando a resposta candidata não muda. Dongryeol Lee et al. (arXiv:2601.07506) aumentam a preocupação ao mostrar que julgadores podem ignorar completamente uma referência fornecida quando ela conflitar com seu conhecimento paramétrico. Esses artigos indicam que o julgador não é um árbitro neutro, mas um modelo com seus próprios pré-requisitos, sensibilidades ao prompt e lacunas de conhecimento.

Nenhum dos estudos fornece evidências de implantação em produção — não há custos de inferência, latências ou benchmarks de throughput para pipelines de avaliação baseados em julgadores em escala relatados. Os números operacionais importantes aqui são as métricas de confiabilidade: a taxa de reversão de 85% no estudo principal, e as trocas de preferência pareadas semelhantes de aproximadamente 35% observadas no trabalho relacionado de Tripathi et al. 2025 — recursos de distrator embutidos no gerador, como assertividade ou lisonja, fazem com que julgadores pareados troquem preferências, enquanto julgadores pontuais mudam apenas cerca de 9%. Para um arquiteto realizando avaliações noturnas em saídas abertas de um produto, isso significa que um julgador sem referência pode estar relatando taxas de correção que desmoronam uma vez que uma referência é introduzida, e o viés é consistente o suficiente para parecer uma tendência em vez de ruído. Um resumo prático no Tel Channel faz o ponto diretamente: equipes otimizam contra essas pontuações viés, melhorando métricas que não refletem a qualidade real, enquanto tratam a deriva como ganho de desempenho real.

O que torna isso particularmente caro é que a avaliação sem referência é muitas vezes adotada justamente para evitar a latência e o custo da anotação humana ou a sobrecarga de engenharia de avaliações baseadas em código. A mitigação proposta pelo artigo é um experimento de calibragem pré-implantação: teste o julgador em uma amostra retida que inclui respostas de referência para descobrir quais tarefas, idiomas ou domínios o julgador pode avaliar sem um âncora. Isso requer a manutenção de um banco de referências, reintroduzindo o gargalo de anotação que o julgador deveria ter substituído. Arquitetos também devem auditar artefatos de prompt — ordenação de rubrica, rótulos de pontuação e posicionamento de referência — porque o trabalho do Ant Group mostra que esses movem pontuações em todos os modelos testados.

Não há evidências de produção ainda para mitigações automatizadas, e a pergunta em aberto é se algum modelo de julgador único pode ser confiável como um oráculo sem referência em cargas de trabalho multilinguísticas, multi-domínio sem calibração humana contínua.

Um arquiteto deve tratar cada pontuação de julgador de LLM sem referência como um limite superior não calibrado e forçar a provar sua rigorosidade contra um conjunto de referência retido antes que seja permitido que controle a liberação.