Análise Arena: 66% dos Votos no Ranking se Cancelam

Uma meta-análise de 89 mil comparações por pares de preferência humana em 52 Large Language Models constata que os rankings globais publicados pelos principais leaderboards de LLM são estatisticamente pouco confiáveis — uma descoberta com consequências diretas para os fluxos de seleção de modelos empresariais que tratam scores do tipo Arena como verdade absoluta.

O paper "Why Global LLM Leaderboards Are Misleading" foi publicado em 7 de maio de 2026 por Jai Moondra, Ayela Chughtai, Bhargavi Lanka e Swati Gupta. Os pesquisadores analisaram aproximadamente 89 mil comparações Arena em 116 idiomas usando o modelo Bradley-Terry (BT) — o mesmo framework probabilístico que leaderboards usam para calcular rankings no estilo ELO — e mediram se esses rankings refletem realmente preferências humanas consistentes. Descobriram que não refletem.

O problema estatístico central é o cancelamento de votos. Quase dois terços dos votos decisivos no dataset se cancelam quando agregados em um único ranking global. Nos 50 melhores modelos do ranking global BT, probabilidades de vitória por pares nunca excedem 0,53 — estatisticamente indistinguíveis de um sorteio de moeda. Empresas usando esses rankings para escolher entre, digamos, o modelo 5º e o 20º colocado estão tomando decisões que os dados não sustentam.

Os autores rastreiam a falha à heterogeneidade estruturada: preferências de avaliadores diferem drasticamente por idioma, tipo de tarefa e tempo. O idioma é a variável dominante. Quando comparações são agrupadas por família linguística em vez de agregadas globalmente, a dispersão de scores ELO aumenta em duas ordens de magnitude, produzindo rankings internamente coerentes. O que parece ruído em uma visão global é na verdade uma sobreposição de subpopulações coerentes mas conflitantes votando por modelos diferentes em contextos diferentes.

Para arquitetos empresariais, isso reposiciona como protocolos de avaliação internos devem ser construídos. Um score de benchmark único — ou uma posição única em leaderboard — mostra qual modelo vence entre uma multidão heterogênea. Não mostra qual modelo tem melhor desempenho para sua base de usuários específica, distribuição de idiomas ou mix de tarefas. Decisões de compra ancoradas em leaderboards globais escolhem o modelo que equilibra preferências conflitantes globalmente, não o modelo que melhor serve seus usuários.

A contribuição construtiva do paper é um framework chamado (λ, ν)-portfolios: pequenos conjuntos de modelos que juntos alcançam erro de previsão de no máximo λ enquanto cobrem pelo menos uma fração ν de usuários. Os autores formulam seleção de modelos como uma variante do problema set-cover e fornecem garantias teóricas usando VC dimension. Aplicado aos dados Arena, seu algoritmo recupera cinco rankings BT distintos que coletivamente cobrem mais de 96% dos votos — em comparação com 21% de cobertura alcançada pelo ranking global único. Um portfólio de seis LLMs escolhidos por esse método cobre duas vezes mais votos do que simplesmente pegar os seis primeiros do leaderboard global.

O framework se estende além de dados de preferência. Os autores constroem um portfólio para uma tarefa de classificação no dataset COMPAS usando classificadores regularizados por equidade e revelam pontos cegos nos dados — um sinal separado para equipes de conformidade e equidade avaliando modelos sob escrutínio regulatório.

Para equipes de avaliação de modelos: segmente avaliações internas por idioma, tarefa e coorte de usuário antes de agregar scores. Um modelo classificado 3º globalmente pode estar 1º para seu segmento de usuário principal e 40º para outro. O leaderboard não sabe qual você está construindo.