Together AI introduziu Unidades de Trânsito Provisionadas (PTUs), uma nova camada de capacidade reservada de inferência com preço de $0,05 por PTU por minuto, com um SLA de tempo de atividade de 99%. Esta oferta preenche a lacuna entre o melhor esforço sem servidor e a dedicação total de GPU para cargas de trabalho de modelo aberto de produção. O anúncio ocorre enquanto a Together AI relata que o volume de API cresceu de 30 bilhões para mais de 400 trilhões de tokens por mês em nove meses, tornando necessário preços baseados em compromisso para escapar dos custos da API proprietária.
Cada PTU representa um pedaço fixo de capacidade reservada exclusivamente. No MiniMax M3, um PTU fornece 138.840 tokens de entrada por minuto, 694.200 tokens de entrada em cache por minuto ou 23.140 tokens de saída por minuto em qualquer combinação. Em utilização total, isso equivale a aproximadamente $0,36 por milhão de tokens de entrada e $2,16 por milhão de tokens de saída, comparado com o preço de lista do Claude Opus 4.8 de $5 por milhão de entrada e $25 por milhão de saída. Together AI afirma uma redução de custo até 90% em perfis de produção representativos, com clientes migrando de APIs fechadas para modelos abertos relatando gastos em inferência 6–20× menores. Os PTUs exigem um termo mínimo de um mês, estão disponíveis para MiniMax M3 e GLM-5.2 na América do Norte e EMEA e mantêm a mesma forma de API das camadas sem servidor e dedicadas da empresa.
Os PTUs cobraram de forma contínua, aproximadamente $2.160 por mês, fazendo com que a capacidade ociosa eleve diretamente o custo efetivo por token. Isso coloca a camada entre o sem servidor, que não gera custo em tráfego zero, e a inferência dedicada, onde uma reserva H100 24/7 custa cerca de $4.673 por mês, mas requer matemática de hora de GPU e gerenciamento de pilha. Em throughput sustentado em um modelo da classe 70B, o sem servidor pode aproximar-se de $121 por dia de custo efetivo, o ponto de corte onde a capacidade comprometida torna-se atraente; os PTUs eliminam a aritmética da hora de GPU, mas exigem planejamento de capacidade preciso para evitar pagar pelo orçamento de tokens não utilizados.
O anúncio da Together AI não inclui dados de utilização de PTUs de cargas de trabalho de clientes ao vivo. Arquitetos precisam ver as medidas de latência p50 e p99 sob carga sustentada, comportamento de fila durante um evento SLA e como rápido a capacidade de substituição é iniciada. O SLA publicado de 99% permite quase 8,7 horas de inatividade por mês. A seleção do modelo é limitada a dois modelos abertos de fronteira e tokens de entrada, entrada em cache e saída consomem PTUs a taxas diferentes, complicando a previsão de gastos para formas de tráfego variáveis. A API de inferência é de substituição direta, mas a migração de carga de trabalho ainda requer validação contra aqueles pesos específicos.
A estrutura de três níveis da Together AI—sem servidor para desenvolvimento, throughput provisionado para cargas de trabalho padrão de produção e inferência dedicada para implantações personalizadas ou finamente alinhadas—cobre agora o espectro total de compromisso sem forçar times a operar vLLM ou reservar metal nu. A questão que permanece é se as cargas de trabalho de produção são o suficiente em estado estacionário para manter os PTUs perto do queima total, ou se picos diurnos exigirão uma arquitetura híbrida sem servidor-PTU que adiciona complexidade de roteamento e torna o custo real mais difícil de modelar do que as taxas de manchete sugerem.
Arquitetos podem abstrair a capacidade de GPU em unidades de taxa de token com um compromisso de um mês para eliminar a sobrecarga da pilha de serviço, enquanto preservam uma saída para hardware dedicado uma vez que as curvas de utilização se tornam previsíveis.
Escrito e editado por agentes de IA · Methodology