Together AI lançou capacidades nativas de testes A/B no nível de endpoint, permitindo que equipes executem experimentos de comparação de modelos diretamente no tráfego de produção sem construir lógica de roteamento em código de aplicação. Os usuários podem dividir o tráfego ao vivo em um controle e até 20 implementações variantes com divisões de porcentagem fixa, medir métricas do mundo real (retenção, conclusão de tarefas, feedback de usuário) e promover vencedores usando rollout azul-verde. O aumento pode ser feito incrementalmente: divisão 95/5, depois 80/20, depois 50/50, com cada aumento sendo uma chamada de API explícita, protegida por etag.
Em vez de implantar lógica de teste A/B no código da aplicação (sinalizadores de recursos, roteamento baseado em hash, strings de modelo codificadas), a abordagem no nível de plataforma da Together desvincula o roteamento de experimento do código cliente. Isso reduz a entropia de código: uma vez que um experimento termina, a lógica de roteamento não permanece na base de código. Os percentuais A/B são compartilhamentos de tráfego fixo independentes de contagens de réplica e autoscaling, garantindo janelas de medição consistentes. As implementações de variantes devem ter zero peso na divisão de tráfego base do endpoint; o experimento possui a alocação da variante integralmente, evitando corrupção de medição de deriva de tráfego ponderada pela capacidade.
A capacidade aborda uma lacuna de produção: historicamente, as equipes contam com tráfego fantasma (respostas descartadas) para validar métricas operacionais (latência, taxas de erro), mas testes fantasmas não podem medir melhorias de qualidade voltadas para o usuário, como retenção ou conclusão de tarefas. Esses primitivos surgem em um momento em que a incerteza de seleção de modelo é alta—as empresas devem escolher entre modelos otimizados em custos, de peso aberto e de fronteira para diferentes casos de uso. Ter testes A/B integrados na plataforma de inferência permite iteração rápida no empilhamento de modelos, variantes de quantização e estratégias multimodelo sem andaimes de camada de aplicação complexos.