Together AI lança autoscaling de inferência em requisições em vôo, TTFT, utilização de GPU
Together AI lançou autoscaling para seus endpoints de Inferência de Modelo Dedicado, permitindo que as implantações escalem com base em métricas específicas de inferência, incluindo requisições em vôo, tempo para primeiro token (TTFT), utilização de GPU e throughput de token. Ao contrário das métricas de autoscaling tradicionais de estilo CPU que podem representar incorretamente a carga de serve de LLM, essas métricas refletem diretamente a pressão da fila de requisição e a eficiência de batching. Construtores podem definir limites de réplica, escolher uma métrica e alvo, e ajustar janelas de scale-up e scale-down para gerenciar o trade-off entre sub-provisionamento (degradação aguda de latência p95) e sobre-provisionamento (pagar por GPUs ociosas).
O platform aplica um loop de controle proporcional: se você apunta para 8 requisições em vôo por réplica e observa 16, o sistema escala para 2x réplicas (dentro dos limites). Janelas de tempo evitam oscilação—janelas de scale-up são mantidas curtas (custam apenas alguns minutos de réplica se falsas) enquanto janelas de scale-down ficam mais longas (scale-downs falsas acionam cold starts). Together AI fornece oito métricas de autoscaling: concorrência-dirigida (inflight_requests, um padrão seguro), SLO-dirigida (TTFT p95, percentis de latência), e eficiência-dirigida (custo-primeiro). Um único comando PATCH define réplicas mín/máx, janelas, métrica, alvo e percentil.
Para arquitetos: a estrutura de custo de GPU agora espelha a economia de utilização de companhias aéreas. O serve de LLM se degrada de forma não-linear quando filas de requisição fazem backup; autoscaling em indicadores líderes (contagem em vôo) em vez de indicadores atrasados (utilização) é crítico para SLOs de produção. Construtores devem ajustar autoscaling agressivamente em requisições em vôo para cargas de trabalho de chat (batching alto) e de forma mais conservadora para tráfego de agente de contexto longo. Atrasos de cold start (minutos para puxar e aquecer pesos do modelo) significam que o autoscaler deve escalar cedo em sinais líderes, não reagir a picos de latência observados.