Nenhum modelo de fronteira excede 2.6% em tarefas contábeis de oito etapas

Mercor e Ramp publicaram APEX-Accounting em 29 de julho, um benchmark fechado testando nove modelos de fronteira contra 160 tarefas contábeis de autoria especializada divididas em 10 ambientes comerciais sintéticos. O melhor modelo — Claude-Fable-5 (Max) — marca 56.4% em Mean Criteria@3. Nenhum modelo ultrapassa 2.6% em Pass^8. A diferença entre as duas métricas é o destaque: modelos podem satisfazer critérios individuais em execuções fáceis, mas encadear oito completações consecutivas corretas de uma única tarefa contábil complexa permanece fora do alcance de cada modelo no ranking.

Cada "mundo" em APEX-Accounting é um ambiente contábil autossuficiente: um sistema contábil ativo (estilo QuickBooks), além de planilhas, PDFs e outros arquivos que um contador real trabalharia durante um encerramento mensal. Os tipos de tarefas espelham a lista de verificação real de encerramento de livros — reconciliação de contas, acumulação de despesas, registro de transações e produção de relatórios de fim de período. Ramp desenhou duas variantes de mundo: mundos padrão com históricos de transações estáveis, e mundos de transição para frente onde o mesmo negócio avança um período à frente para testar se a memória do modelo dos processos do período anterior se transfere claramente sem contaminar novos dados. As rubríscas de classificação do benchmark foram escritas pelos mesmos especialistas em contabilidade que criaram e resolveram cada tarefa — os critérios são específicos o suficiente para captar classificações erradas, não apenas saídas ausentes.

Os dados internos da Ramp, publicados separadamente em junho, ilustram o escopo do benchmark. Oito mundos abrangendo 237 tarefas e 3.469 critérios de classificação individuais cobrem tipos de negócios que cada um carrega complexidade contábil distinta: uma marca de e-commerce DTC requer reconciliação de receita multicanal em Shopify e Amazon (28 tarefas, 601 critérios); uma empresa de logística de mercado médio executa três entidades QuickBooks Online com eliminações intercompanhias (28 tarefas, 477 critérios); uma empresa de construção rastreia reconhecimento de receita de percentual de conclusão em quatro projetos ativos usando faturas de progresso AIA G702/G703 (28 tarefas, 284 critérios). Uma tarefa representativa: compare outubro de 2024 com julho de 2024, identifique as cinco principais variações de balanço, classifique cada uma como sazonal ou inesperada, e explique o causador. A classificação verifica se o modelo identifica corretamente Total Revenue como uma variação top-cinco e classifica corretamente as despesas de marketing de outubro como inesperadas em vez de sazonais. O modelo deve extrair um P&L, inspecionar detalhes do razão geral, ler um modelo de planejamento de inventário e fazer referência cruzada do orçamento anual para completá-lo.

O experimento de orçamento de token revela o paradoxo de Simpson: as pontuações agregadas aumentam conforme o orçamento aumenta, o que parece ser uma vitória clara para mais computação. Mas dentro de cada arnês de orçamento fixo, tarefas onde o modelo queima mais tokens pontuam mais baixas do que tarefas onde gasta menos. O padrão sugere que os modelos estão gastando tokens extras em tarefas mais difíceis que ainda falham, não em tarefas mais fáceis que resolvem em excesso — o gasto de token se correlaciona com a dificuldade da tarefa, e a dificuldade ainda vence. O dimensionamento de orçamento ajuda na margem; ele não fecha a lacuna de confiabilidade.

O ranking no momento da publicação: Claude-Fable-5 (Max) em 56.4% Mean Criteria@3, Muse-Spark-1.1 (xHigh) em 52.6%, GPT-5.6-Sol (Max+Pro) mantendo o melhor Pass^8 em 2.6%. Muse-Spark-1.1 (xHigh) alcança o maior Pass@8 em 21.5%. Nove modelos de fronteira aparecem nesta primeira lançamento. O benchmark é fechado — avaliações de ranking podem ser solicitadas para qualquer modelo via Mercor diretamente.

APEX-Accounting é o quarto benchmark na família APEX de Mercor, juntando-se a um índice de tarefas profissionais de volta única (300 tarefas, pontuação máxima 67.2%), um benchmark de agentes cobrindo investimento bancário, consultoria e direito (480 tarefas, pontuação máxima 43.5%), e um índice de engenharia de software (200 tarefas, pontuação máxima 54.8%). A adição contábil é a única construída em parceria direta com um operador fintech de produção, e a única onde o arnês foi desenvolvido como uma ferramenta de melhoria de produto interna antes de ser publicada como um benchmark público.

Para arquitetos avaliando LLMs para automação de back-office: Pass@8 abaixo de 22% em qualquer orçamento significa que o caminho para automação confiável de encerramento requer uma camada de revisão humana ou portões de validação determinísticos na saída do modelo — não apenas um modelo mais inteligente.