Netflix Reduz Rótulos de Classificação em 40× ao Migrar para Sistema Nativo com LLM

A Netflix substituiu a camada de classificação de seu stack de recomendações pelo GenRec, um classificador apoiado por LLM. Testado em 10% do tráfego por quatro semanas, o GenRec superou o classificador de produção da Netflix em métricas de curto e longo prazo—uma mudança da engenharia de features para engenharia de contexto.

GenRec usa duas fases de treinamento. A Fase 1 adapta um LLM de código aberto aos dados proprietários da Netflix: metadados de conteúdo, comportamento dos membros, histórico de interações. Isso produz um modelo de fundação consciente da Netflix atualizado com pouca frequência. A Fase 2 pós-treina esse fundação especificamente para classificação, usando perdas ponderadas por recompensa otimizadas para custo de serviço. A Fase 2 se atualiza com mais frequência para absorver novo conteúdo e mudanças de gosto. Quando a Fase 1 se aproxima de seu cutoff, o pós-treinamento da Fase 2 melhora as métricas de classificação offline em 35–50%. Após duas semanas de desatualização, a contribuição da Fase 2 cresce para aproximadamente 80%—a lacuna de qualidade se intensifica na fase mais recente e mais barata ao longo do tempo.

Na inferência, GenRec pula a decodificação autorregressiva. O histórico do usuário, metadados e contexto se tornam prompts em linguagem natural alimentados no vLLM em modo prefill-only. Um cabeçalho de scoring lê as ativações do prefill para pontuar todos os títulos candidatos em um único forward pass. Todo o computação ocorre no prefill—paralelizável e previsível—em vez de geração de tokens sequencial. Prefill-only evita custo de decodificação por token, mas cobra custo de prefill por requisição escalado com o comprimento do contexto.

As ablações offline mostram números operacionalmente úteis. Adaptar um LLM de código aberto aos dados da Netflix melhora as métricas de classificação offline em 10–20% antes de dados específicos de classificação serem vistos. GenRec iguala ou supera o classificador de produção usando 10–40× menos exemplos rotulados da Fase 2. Na configuração de dados baixos, GenRec alcançou melhoria de +1,6% em Mean Reciprocal Rank offline. O teste A/B de quatro semanas confirmou a direção offline com ganhos estatisticamente significativos em métricas de curto e longo prazo.

Os dados de treinamento vêm de centenas de bilhões de eventos de interação: visualizações, reproduções, durações de visualização, thumbs, adições a listas, abandonos. Eles se convertem em pares conversacionais—uma mensagem de usuário (contexto verbalizado, histórico, tarefa) e uma mensagem de assistente (engajamento do membro). O formato conversacional preserva a compreensão de linguagem durante o treinamento da Fase 2. Na inferência, mensagens de assistente não são decodificadas; apenas ativações de prefill importam.

Limites rígidos permanecem. GenRec foi testado em superfícies de computação em lote com SLOs de latência soltos. Mover a classificação LLM prefill-only para o caminho interativo—onde orçamentos de latência são dezenas de milissegundos—não está resolvido. A desatualização da Fase 1 complica o quadro: conforme o modelo de fundação envelhece, a Fase 2 deve absorver lacunas de qualidade maiores, aumentando a frequência de atualização da Fase 2 e custo de computação. A engenharia de contexto também introduz risco de produção que stacks tradicionais de RecSys carecem: o pipeline de verbalização convertendo logs brutos em prompts se torna uma dependência de primeira classe com exposição de version-skew e schema-drift.

O sistema GenPage companheiro da Netflix (construção da página inicial) mostra um caminho através da restrição de latência: um transformador generativo restringido a SLO de latência entregou +0,24% no engajamento do usuário principal (p < 0,001) com redução de latência end-to-end de 20%. A descoberta do GenPage transfere para GenRec: enriquecer o prompt produz ganhos de qualidade maiores do que dimensionar capacidade de modelo, pelo menos até que o contexto disponível seja totalmente explorado.

Scoring prefill-only funciona para classificação LLM em superfícies de lote hoje. O caminho em tempo real requer compressão agressiva de modelo ou compartilhamento de prefill KV-cache entre requisições concorrentes—nenhum publicado pela Netflix.