Together AI lança Inferência de Modelo Dedicado com implantação canary, testes A/B e rollback automático
Together AI lançou uma atualização importante em sua plataforma de inferência em 23 de julho, adicionando controles de implantação de nível de produção ao seu serviço de hospedagem de modelo de peso aberto. A plataforma Dedicated Model Inference envia com rollout canary, atualizações azul-verde e continuárias, rollback automático em limites de métricas, testes A/B contra tráfego em tempo real, testes de sombra e autoscaling multi-região. As equipes agora podem implantar novas versões de modelo, pesos ajustados com fine-tune ou adaptadores LoRA atrás de um endpoint estável único sem reconstruir ou trocar plataformas.
A plataforma abstrai quantização, paralelismo de tensor, decodificação especulativa e configuração do mecanismo de serviço através de perfis de implantação pré-testados, enquanto ainda expondo controle de nível de especialista para equipes que precisam otimizar equilíbrio de latência, throughput ou custo por carga de trabalho. Together também está lançando beta fechada para treinamento customizado, incluindo aprendizado por reforço de peso completo e LoRA e ajuste supervisionado com checkpoints implanáveis diretamente em produção. A empresa relata servir mais de 400 trilhões de tokens por mês em 40+ modelos.
Para equipes executando IA agentic de produção, agentes de código ou sistemas de voz em modelos de peso aberto, isso remove o fardo operacional de construir e manter uma pilha de serviço de modelo customizado. Decagon, cliente de Together AI, observou que anteriormente confiavam em controle de versão manual; a nova plataforma deixa eles fazer canary modelos ajustados com fine-tune em tráfego em tempo real semanalmente, com rollback automático se métricas-chave regredirem. Arquitetos avaliando inferência de código aberto devem avaliar se recursos de plataforma como rollback automático e velocidade de iteração segura superam o custo operacional de auto-hospedagem ou o trade-off de lock-in de APIs de modelo fechado.