A Meta Engineering publicou o modelo de sequência multi-estágio alimentando sua pilha de ranking de anúncios em produção. A arquitetura mostra leis de escala estilo LLM entre estágios de pipeline. Combinadas com melhorias do modelo GEM da Meta, essas inovações entregaram um aumento cumulativo de 6% de conversão no Instagram, 3% no Facebook e 3,5% em cliques de anúncios no Facebook. O número de 6% baseia-se no lançamento Q2 do GEM, que sozinho impulsionou 5% de aumento de conversão no Instagram e 3% no Feed do Facebook.
O problema: modelos de sequência baseados em transformer com precisão suficiente para importar são muito caros para executar no momento da veiculação de anúncios. A abordagem híbrida anterior da Meta—um modelo para sequências de eventos do usuário, outro para interações de recursos esparsos—introduziu transferência de conhecimento com perda e atingiu limites de escala. Aumentar o comprimento da sequência ou a profundidade do transformer piorou os tradeoffs.
A divisão em dois estágios desacopla trabalho intensivo em computação do caminho crítico de latência. Um modelo de usuário offline processa históricos de usuários em várias camadas de transformer com comprimentos de sequência em milhares, depois armazena em cache embeddings por usuário independentes de qualquer candidato de anúncio específico. Um modelo de ranking online—otimizado para veiculação com sub-orçamento de latência—ingere esses embeddings em cache ao lado de sinais em tempo real frescos e candidatos de anúncios para produzir rankings finais. Embeddings de usuário não podem ver recursos de anúncio ou contexto, garantindo reutilização em todas as tarefas de ranking sem recomputação.
A tokenização densa dobra recursos esparsos e dados comportamentais sequenciais em um vocabulário denso unificado, removendo representações de recursos cruzados engenhadas manualmente. A atenção multi-cabeça ciente de alvo funde esse fluxo de token denso com sinais de candidatos de anúncios em cada camada. Cada bloco de atenção pondera o comportamento histórico de um usuário em relação ao anúncio específico sendo avaliado. Distribuições de atenção estáveis constroem representações de interação de ordem superior sem a deriva de distribuição que força tradeoffs de regularização.
A curva de escala do modelo de sequência não mostra sinais de saturação—o desempenho continua melhorando conforme a capacidade do modelo offline cresce, sem aumento proporcional nos custos de veiculação online. A Meta alcançou paridade arquitetônica com treinamento de LLM, significando que técnicas como mixture-of-experts, compartilhamento de computação entre usuários e variantes de atenção avançadas podem ser aplicadas ao modelo de usuário offline com retornos previsíveis. O modelo fundacional GEM é 4x mais eficiente em impulsionar ganhos de desempenho de anúncios por unidade de dados e computação do que os modelos de ranking originais da Meta. Sua pilha de treinamento entrega um aumento de 23x em FLOPs de treinamento efetivo em utilização de FLOPS de modelo 1,43x usando 16x mais GPUs.
Para arquitetos projetando pipelines de ranking multi-estágio, isolamento rigoroso de recursos upstream/downstream é a escolha estrutural chave. Ao garantir que o modelo de usuário offline nunca veja recursos de anúncio ou contexto, a Meta preserva reutilização total de embedding em todas as tarefas de ranking com sobrecarga de adaptação mínima. A tokenização densa substitui cruzamento de recursos manual—a engenharia de interação curada por humanos que historicamente consumiu largura de banda significativa de equipe em sistemas de recomendação. Removê-la remove seu teto de escala.
Se seu pipeline de ranking acopla modelagem de usuário a recursos de candidatos de anúncios no momento da veiculação, você tem um teto que nenhuma quantidade de hardware levantará.