Pipelines RLHF e RLVR comprimem a diversidade do modelo. Cada passo de recompensa empurra as saídas em direção à resposta correta de maior probabilidade, erodindo a amplitude da distribuição até o modelo ser confiável mas repetitivo. Funciona para benchmarks de pergunta-e-resposta. Para treinamento RL downstream que depende de rollouts variados para gerar sinal de recompensa útil, é um custo direto. Para tarefas onde geração criativa ou exploratória importa, degrada silenciosamente o desempenho.
Um novo paper de Ananya Sahu, Mohit Bansal e Elias Stengel-Eskin (publicado 7 de agosto) apresenta CreativeInstruct: um método de instruction-tuning de modelo único para recuperar diversidade perdida sem abrir mão dos ganhos de qualidade do pós-treinamento. O mecanismo é um token de controle aprendível—[StartCreativity]—injetado durante fine-tuning supervisionado. O modelo aprende que este token prediz geração criativa, similar ao modelo base. No tempo de inferência, se ativá-lo é uma escolha, não um parâmetro de sampling.
Sem overhead de inferência. Ensembles multi-modelo e destilação têm sido o workaround para colapso de diversidade, mas multiplicam custo de deployment e complicam serving. CreativeInstruct funciona como um checkpoint único. Em benchmarks de geração narrativa, iguala ou supera a diversidade de baselines multi-modelo e destilados—confirmado em métricas automáticas e avaliação humana.
O paper também propõe uma nova métrica de diversidade baseada em graph edit distance sobre estrutura narrativa. Medidas léxicas e semânticas existentes (n-gram overlap, similaridade de cosseno) perdem variação estrutural: duas histórias com plots diferentes mas vocabulário similar pontuam como menos diversas do que realmente são. Métricas de graph-edit-distance operam sobre estrutura de discurso e capturam variação narrativa que essas medidas ignoram.
Anotadores humanos avaliaram saídas de CreativeInstruct como mais criativas que baselines pós-treinados padrão em 70,3% dos casos. Isto é notável porque reflete gerações de código aberto, não benchmarks sintéticos, e o ganho veio sem perda de qualidade nos pontos fortes centrais do modelo pós-treinado.
O resultado de RL é mais acionável. Quando GRPO (group relative policy optimization, amplamente usado em treinamento de modelo de raciocínio) foi aplicado a um checkpoint CreativeInstruct em vez de um pós-treinado padrão, o desempenho em matemática melhorou 4% em AMC e 5% em MATH. O mecanismo: rollouts iniciais mais diversos geram sinal de recompensa mais rico, deixando GRPO encontrar melhores políticas antes do colapso. O ponto de partida importa.
O que é difícil: isto requer um estágio de fine-tuning supervisionado em pares criativo/não-criativo rotulados para ensinar ao modelo o que [StartCreativity] prediz. Times treinando pós-treinamento do zero podem inserir isto; times com checkpoints destilados ou RLHF'd existentes devem pesar se o tradeoff qualidade-diversidade justifica re-tuning. O paper não relata experimentos em escalas muito grandes, e é incerto se ganhos RL de 4–5% persistem conforme capacidade do modelo e compute de treinamento crescem.
Para times construindo agentes de raciocínio onde RL é parte do loop: colapso de diversidade do pós-treinamento padrão não é uma ineficiência de fundo—é um teto no que GRPO ou similar pode alcançar. CreativeInstruct fornece um caminho documentado para elevar esse teto sem custo de inferência.