LangChain e Fireworks publicaram um sistema de avaliação de traces que reduz o custo de avaliação por trace em 100x comparado a chamar APIs frontier diretamente. O sistema fine-tuna Qwen-3.5-35B para classificar "erro percebido"—se um usuário acreditava que um agente cometeu um erro—em cada trace de produção fluindo pelo LangSmith, que processa bilhões de tokens diariamente. O preço dos modelos frontier tornou a avaliação abrangente economicamente impossível nessa escala; o modelo aberto fine-tuned torna isso rotina.
Erro percebido significa não se um agente estava objetivamente errado, mas se o usuário respondeu como se fosse. Indicadores: correções do usuário, pedidos repetidos, ações de agente rejeitadas, admissões explícitas de erros do assistente. O avaliador produz um objeto JSON com um flag booleano e justificativa—{"perceived_error": true, "reason": "The user corrects the meeting date the assistant used."}—e escreve de volta no trace para análise downstream.
Construir o dataset de treinamento evitou anotação humana pura em escala. LangChain obteve multi-turn traces de dois datasets internos: chat-langchain (885 exemplos, Q&A técnico) e Fleet (911 exemplos, agente de documento e pesquisa sem código). Rótulos vieram de votação em painel-de-modelos; discordâncias escalaram para um segundo painel; discordâncias persistentes foram para revisores humanos. Taxas de erro percebido foram 24% e 18% respectivamente—distribuição real de produção, não divisões artificialmente balanceadas.
Fine-tuning usou supervised fine-tuning gerenciado com LoRA no Fireworks, treinando exclusivamente em chat-langchain. O objetivo era confirmar transferência cross-domain antes de se comprometer com treinamento dual-dataset. O modelo SFT chat-langchain atingiu 96.1% de accuracy em seu dataset base versus 91.6% para Claude Opus e 90.5% para Qwen base. No Fleet—um domain que nunca havia visto—o modelo SFT marcou 90.8%, 3.6 pontos acima de Qwen base e 0.6 acima de Claude Opus em 90.2%. GPT-5.5 liderou em chat-langchain em 98.9% mas caiu para 89.1% no Fleet, abaixo do modelo aberto fine-tuned.
Qwen-3.5-35B foi escolhido após modelos menores falharem em lidar com raciocínio multi-turn trace. O time excluiu mensagens tool-call do contexto de treinamento, apostando que mensagens humanas e IA carregam o sinal primário de erro percebido. Engenharia de prompt seguiu análise de modos de falha small-scale em vez de reescrita wholesale. Ambas as escolhas são marcadas como levers para trabalho futuro—reintroduzir tool calls, aparar sequências longas—mas a configuração atual já passa em testes de transferência cross-dataset frontier accuracy.
Executar um modelo aberto 35B no Fireworks inference custa uma fração das chamadas frontier API por token. Na escala do LangSmith de bilhões de tokens diariamente, essa diferença é binária: avaliação abrangente de traces é ou acessível ou impossível. A redução de 100x a move para a primeira categoria. Times com workloads agentics menores ganham o mesmo benefício—cobertura de eval que era previamente sampled pode agora abranger tráfego de produção completo.
O principal atrito: essa abordagem requer um dataset rotulado e um ciclo de fine-tuning. LangChain construiu o deles a partir de traces de produção usando labeling assistido por modelo, o qual é replicável mas não trivial. Qualquer time querendo um juiz domain-specific de erro percebido precisará rodar o mesmo processo em seus próprios traces.
Se o orçamento de eval constrange cobertura de trace-judge, fine-tuning um modelo aberto mid-size no Fireworks é agora um caminho credível para sinal frontier-quality em 1% do custo frontier API.