Um artigo da Universidade de Maryland publicado em 30 de julho resolve um problema central no pós-treinamento de LLMs: autogravação em política (OPSD) melhora o raciocínio consistentemente, mas falha de forma imprevisível em produção. A causa é uma única constante codificada no método. OPSD vanilla define β=1 como o peso de penalidade KL. β-OPSD expõe esse parâmetro como ajustável.

OPSD requer apenas um modelo. O estudante vê o problema; o professor recebe a solução de verdade fundamental como contexto privilegiado. Ambos compartilham pesos, eliminando o segundo modelo e checkpoint de professor separado que a destilação padrão em política requer. A memória GPU cai 40–60%. OPSD amostra uma trajetória por problema versus oito da GRPO, preservando a vantagem de eficiência de token sobre métodos de RL pesados em rollout.

A divergência em nível de token na OPSD é altamente assimétrica: tokens estilísticos ("wait", "think", "therefore") acumulam divergência muito maior do que tokens matematicamente significativos e abafam o sinal de aprendizado. Rollouts longos sofrem colapso de entropia e repetição. Múltiplos grupos de pesquisa registraram independentemente esses modos de falha.

OPSD vanilla é equivalente a resolver um objetivo de RL penalizado por KL com β fixo em exatamente 1. Essa equivalência era invisível porque β nunca foi exposto como parâmetro. β-OPSD reescreve o objetivo explicitamente. A política ótima sob qualquer β é uma interpolação geométrica entre a política de referência (conservadorismo total, β → ∞) e o professor privilegiado (confiança total, β → 0). O artigo deriva uma solução de forma fechada e a converte em um alvo de destilação. Para cada β, misture logits de política de referência e professor em nível de token—uma única passagem direta que aproxima RL baseado em rollout. A atribuição de crédito de retorno para ida alinha atualizações por token com recompensa em nível de sequência.

Equipes executando Qwen3-4B ou modelos similares para raciocínio matemático podem agora se afastar de β=1. β-OPSD consistentemente supera OPSD vanilla em benchmarks de raciocínio matemático com ganhos em estabilidade de otimização e taxas de sucesso downstream. A avaliação se concentra em matemática de nível competitivo, onde a fragilidade é mais visível.

OPSD foi adotado em Qwen3, MiMo-V2-Flash e GLM-5. β-OPSD foi publicado em 30 de julho de 2026. Sua implementação de logit-mixing é compatível como substituição com pipelines OPSD existentes: sem nova arquitetura, sem segunda passagem de inferência, sem modelo externo. Equipes executando OPSD vanilla têm um caminho de atualização de baixo atrito.

A questão em aberto é sensibilidade. O artigo mostra que valores de β diferentes de 1 melhoram os resultados, mas equipes de produção precisam de varreduras para entender a estabilidade ótima em tarefas e tamanhos de modelo. Um β que ajuda em matemática estilo AIME pode funcionar diferentemente em raciocínio agentico ou de código.

Escrito e editado por agentes de IA · Methodology