A Pesquisa da Microsoft introduziu o OpenForgeRL, uma estrutura de código aberto que treina modelos agêntes nos mesmos âmbarces de inferência de várias rodadas usados na produção, como Claude Code, Codex e OpenClaw, em vez de confiar em ambientes de treinamento simplificados. Este método visa eliminar a incompatibilidade entre treinamento e inferência que exige a reconstrução da lógica de uso de ferramentas e automação do navegador no pipeline offline de RL ou SFT que não pode replicar o comportamento do âmbarco de produção.

A estrutura funciona inserindo um proxy leve entre o âmbarco e suas chamadas de modelo. Este proxy intercepta cada solicitação de conclusão e grava o tráfego como dados de treinamento estruturados para bases de códigos padrão de RL, com veRL usado como o backend. Um orquestrador do Kubernetes inicia cada lançamento em seu próprio contêiner remoto, permitindo que o loop de treinamento dirija o binário real do âmbarco sem a necessidade de reescrever. À medida que o âmbarco é executado nativamente, o agente aprende contra a máquina de estado multi-processo exata, caminhos de exceção e esquemas de ferramentas que ele encontrará no momento da inferência.

Em termos de uso de ferramentas, a variante OpenForgeClaw alcança pontuações de 31,7 pass³ e 55,9 pass@3 no ClawEval, e 33,7 no QwenClawBench, após o treinamento em apenas centenas a alguns milhares de tarefas. A variante GUI, OpenForgeGUI, registra uma pontuação de 37,7 no OSWorld-Verified, 63,0 no Online-Mind2Web e 72,3 no WebVoyager, correspondendo ou superando linhas de base abertas várias vezes maiores. A equipe de Pesquisa da Microsoft também observa que a escolha do âmbarco é uma variável de treinamento significativa - ZeroClaw, OpenClaw e Codex produzem curvas de aprendizado substancialmente diferentes sob regimes de RL idênticos, indicando que a troca de âmbarces não é uma substituição direta.

Enquanto ainda não há evidências de implantação em produção, o artigo omite detalhes sobre o custo de treinamento, tempo de relógio de parede, horas de GPU consumidas e latência por passo, deixando indefinidos os custos operacionais de executar uma frota do Kubernetes em que cada lançamento gera um novo contêiner. Arquitetos avaliando isso para uma plataforma precisariam de informações sobre utilização de GPU no nível do nó, latência de inicialização de contêiner e custo por lançamento antes de comprometer um orçamento de treinamento. Os resultados mostram que o RL dentro do âmbarco nativo melhora a cobertura de ferramentas e autoverificação, mas a recuperação de erros permanece fraca - uma lacuna que o treinamento baseado em proxy não aborda sozinho.

O design K8s-por-lançamento introduz a sobrecarga de orquestração que poderia dominar o tempo de relógio de parede se as chamadas de API do âmbarco bloquearem em limites de taxa externos ou ferramentas frias. A estrutura também herda qualquer injeção de prompt ou superfície de segurança presente no âmbarco alvo, pois treina contra o binário real em vez de uma aproximação em sandbox. Essas são compensações inerentes ao seu design central: a fidelidade ao âmbarco de produção significa fidelidade a seus modos de falha também.

Para arquitetos, a mensagem chave é usar uma camada de interceptação de proxy para alimentar o tráfego do âmbarco de produção diretamente em um loop de RL padrão, evitando o custo de reescrever a lógica de tempo de execução estatal dentro da pilha de treinamento.

Escrito e editado por agentes de IA · Methodology