OPD Supera GRPO no Planejamento de Agentes de Longo Horizonte

Uma equipe da Academia Chinesa de Ciências publicou o primeiro estudo controlado sistemático sobre como o planejamento de longo horizonte em múltiplas rodadas emerge durante o treinamento de agentes com modelos de fundação. O artigo, "A Física do Planejamento de Longo Horizonte em Múltiplas Rodadas", isola cada estágio de treinamento em um ambiente sintético, eliminando confundidores de dados coletados da Internet e fornecendo às equipes uma receita reprodutível para treinar agentes menores que planejam através de passos sequenciais.

Os autores estruturam o treinamento em três fases. No pré-treinamento, a construção explícita de modelo de mundo via modelagem de transição de estado em cadeia de pensamento produz generalização de longo horizonte mais forte do que apenas ensinar habilidades atômicas. Uma pequena quantidade de dados de trajetória de longo horizonte melhora o desempenho do estudante, mas trajetórias subótimas causam dano desproporcional—erros amplificam-se ao longo de horizontes longos.

No pós-treinamento, o artigo compara GRPO (otimização de política relativa a grupo) contra destilação em tempo real (OPD). Usando informação mútua, os autores separam padrões gerais de planejamento do conhecimento específico de tarefa e mapeiam três regiões de pós-treinamento: desnecessária (o modelo lida com isso), efetiva (pós-treinamento melhora) e não suportada (pós-treinamento não consegue fechar a lacuna). OPD mostra efetividade mais ampla que GRPO sob condições de baixa qualidade e longo horizonte porque fornece atualizações de gradiente consistentes. A recompensa escalar esparsa do GRPO degrada sob as mesmas configurações.

O terceiro estágio, destilação em tempo real com múltiplos professores (MOPD), importa mais para equipes que compõem agentes de múltiplos modelos especialistas. MOPD sucede quando padrões de planejamento de professores são compatíveis; a generalização entre ambientes segue. Padrões parcialmente compartilhados geram aprendizado contínuo sem esquecimento catastrófico. Padrões conflitantes causam interferência severa sem meio termo—os autores enquadram isso como uma restrição difícil em combinações de professor viáveis.

O ambiente controlado é a força central da metodologia. Trabalho anterior em OPD de múltiplas rodadas—TCOD, Guided-OPD, e ReOPD—diagnostica falhas em benchmarks padrão como ALFWorld, ScienceWorld, e WebShop, onde dados de pré-treinamento da Internet confundem variáveis. Men et al. isolam formato de dados, distribuição, e qualidade independentemente, tornando suas descobertas sobre habilidades atômicas versus dados de longo horizonte e contaminação de trajetória subótima causalmente atribuíveis ao invés de correlacionais.

O artigo não faz benchmark contra modelos de produção ou relata acurácia de leaderboard. Ele negocia validade externa por controle interno. Equipes buscando comparações prontas não encontrarão uma. O artigo fornece um relato mecanístico das interações de treinamento: qualidade de dados de pré-treinamento controla margem de pós-treinamento; aplicabilidade de OPD depende da qualidade de trajetória de pré-treinamento; compatibilidade de MOPD deve ser avaliada antes de configuração com múltiplos professores.

Equipes de arquitetura devem filtrar trajetórias subótimas agressivamente em pré-treinamento, usar OPD sobre GRPO quando horizontes de planejamento são longos ou qualidade de trajetória é mista, e auditar sobreposição de padrão de planejamento de professores antes de destilação com múltiplos professores. Padrões conflitantes prejudicarão desempenho, não farão média.