Together AI ofrece nivel de inferencia reservado para rebajar costos de API propietarios

Together AI ha introducido Unidades de Capacidad de Tránsito Provisional (PTUs), una nueva capa de inferencia de capacidad reservada con un precio de 0,05 dólares por PTU por minuto, con un SLA de tiempo de actividad del 99%. Esta oferta cierra la brecha entre el mejor esfuerzo sin servidor y la dedicación completa de GPU para cargas de trabajo de modelos abiertos de producción. El anuncio llega cuando Together AI informa que el volumen de API ha crecido de 30 mil millones a más de 400 billones de tokens por mes en nueve meses, lo que hace necesario una tarifación basada en compromisos para escapar de los costos de API propietarios.

Cada PTU representa una porción fija de capacidad reservada exclusivamente. En MiniMax M3, un PTU proporciona 138,840 tokens de entrada por minuto, 694,200 tokens de entrada en caché por minuto o 23,140 tokens de salida por minuto en cualquier combinación. En plena utilización, esto equivale aproximadamente a 0,36 dólares por millón de tokens de entrada y 2,16 dólares por millón de tokens de salida, en comparación con el precio de lista de Claude Opus 4.8 de 5 dólares por millón de entrada y 25 dólares por millón de salida. Together AI afirma una reducción de costos del 90% en perfiles de producción representativos, con clientes que se migran de APIs cerradas a modelos abiertos informando un gasto de inferencia 6-20 veces menor. Los PTUs requieren un plazo mínimo de un mes, están disponibles para MiniMax M3 y GLM-5.2 en América del Norte y EMEA, y mantienen la misma forma de API que los niveles sin servidor y dedicados de la empresa.

Los PTUs facturan de manera continua, aproximadamente 2,160 dólares al mes, lo que hace que la capacidad inactiva eleve directamente el costo por token efectivo. Esto sitúa el nivel entre sin servidor, que no incurre en costos en tráfico cero, y la inferencia dedicada, donde una reserva de H100 24/7 asciende a unos 4,673 dólares al mes pero requiere matemáticas de horas de GPU y gestión de la pila. En una capacidad de tránsito sostenida en un modelo de clase 70B, sin servidor puede acercarse a un costo efectivo de 121 dólares al día, el punto de inflexión en el que la capacidad comprometida se vuelve atractiva; los PTUs eliminan la aritmética de horas de GPU pero requieren planificación de capacidad precisa para evitar pagar por el presupuesto de tokens no utilizados.

El anuncio de Together AI no incluye datos de utilización de PTU de cargas de trabajo de clientes en vivo. Los arquitectos necesitan ver las mediciones p50 y p99 de latencia bajo carga sostenida, el comportamiento de la cola durante un evento SLA y cuánto tiempo se activa la capacidad de reemplazo. El SLA publicado del 99% permite casi 8,7 horas de inactividad por mes. La selección de modelos se limita a dos modelos abiertos de vanguardia, y los tokens de entrada, caché de entrada y salida consumen PTUs a diferentes velocidades, complicando la previsión de gastos para formas de tráfico variables. La API de inferencia es de sustitución directa, pero la migración de cargas de trabajo aún requiere validación en contra de esos pesos específicos.

La estructura de tres niveles de Together AI — sin servidor para desarrollo, tráfico provisionado para cargas de trabajo de producción estándar y inferencia dedicada para implementaciones personalizadas o afinadas — ahora cubre el espectro completo de compromiso sin forzar a los equipos a operar vLLM o reservar metal desnudo. La pregunta sigue siendo si las cargas de trabajo de producción son lo suficientemente estables para mantener los PTUs cerca de quemar al completo, o si los picos diurnos requerirán una arquitectura híbrida sin servidor-PTU que agrega complejidad de enrutamiento y hace que el costo real sea más difícil de modelar que las tarifas titulares sugieren.

Los arquitectos pueden abstraer la capacidad de GPU en unidades de tasa de tokens con un compromiso de un mes para eliminar la sobrecarga de la pila de servicio, mientras conservan una salida a hardware dedicado una vez que las curvas de utilización se vuelven predecibles.