A maioria dos operadores executando workloads LLM em produção paga 2–5x demais; alguns usuários de alto volume pagam uma ordem de magnitude a mais. Essa é a afirmação central de Meryem Arik em seu talk da QCon San Francisco 2025, "Producing the World's Cheapest Tokens." A co-fundadora da Doubleword mapeou um playbook sistemático para redução de custos de inferência. Pilhas de propósito geral como vLLM e SGLang otimizam para latência de chatbot, mas equipes executando agentes offline, pipelines de rotulagem ou geração de dados sintéticos pagam por latência que não precisam.

Arik enquadra o espaço de design como um trade-off de três vias: latência, custo e qualidade—escolha dois. Workloads com prioridade em latência (assistentes de codificação, chatbots) rodam em tamanhos pequenos de lote em hardware caro com kernels otimizados para latência; Cerebras e Groq servem este canto. Workloads de qualidade com velocidade (guardrails, roteadores, on-device) trocam tamanho de modelo e precisão para permanecer barato e rápido. O terceiro canto—qualidade com baixo custo, latência irrelevante—é onde a Doubleword se focou nos últimos 6 a 12 meses. Casos de uso: workflows de agente noturnos, sumarização, rotulagem de dados, geração de dados sintéticos para RL ou fine-tuning. Conforme modelos melhoram e workflows autônomos ganham confiança, este bucket absorverá mais workload de produção.

Quatro alavancas impulsionam a redução de custos. Primeiro, otimizações específicas de lote: servidores de inferência de propósito geral otimizam para requisições individuais em baixa latência; mudar para agendamento consciente de workload—incluindo reordenação de fila para maximizar preenchimento de lote—muda o perfil de utilização de GPU. Segundo, seleção de hardware: desacoplando inferência de SLAs de latência P99 abre tiers de GPU não-econômicos para serviço síncrono mas eficientes para jobs de throughput. Terceiro, decodificação especulativa: um modelo de rascunho menor gera tokens candidatos que o modelo alvo verifica em paralelo, compondo ganhos de throughput em grandes execuções de lote. Quarto, quantização: precisão INT8 ou FP8 reduz a demanda de bandwidth de memória em 2–4x versus baselines FP16, habilitando tamanhos de lote efetivos maiores na mesma pegada de GPU.

O efeito composto é substancial. Doubleword comercializa seu serviço de inferência assíncrona e em lote 50–90% mais barato que APIs em tempo real para workloads de longa duração e alto volume. A plataforma é compatível com OpenAI e se direciona para agentes, evals e pipelines—workloads que toleram minutos de latência para $/milhão de tokens dramaticamente menores. Dados da indústria suportam essa direção: o AI Index Stanford HAI 2025 relata que o custo de inferência para um sistema de nível GPT-3.5 caiu 280 vezes entre novembro de 2022 e outubro de 2024, impulsionado por declínios de custo de hardware de aproximadamente 30% anuais e ganhos de eficiência energética de 40% anuais. Inferência consome aproximadamente 80% dos orçamentos de infraestrutura de IA. Treinamento é um evento único; inferência roda em toda requisição para sempre.

A maioria das equipes alcança o runtime popular primeiro. A batching contínua de vLLM produz até 23x de melhoria de throughput sobre serving ingênuo (por benchmarks Anyscale), mas ainda é projetado em torno de padrões de requisição-resposta sensíveis à latência. Adaptá-lo para workloads puro-throughput e alta-latência requer configuração deliberada—limites de tamanho de lote, prioridade de agendador, ajuste de profundidade de fila—que não são padrões. Taxas de aceitação de decodificação especulativa variam significativamente por tipo de tarefa; escolher o modelo de rascunho errado corrói speedup. Quantização em INT4 poupa mais memória mas precisa de avaliação contra limites de qualidade específicos da tarefa antes do rollout de produção.

O trabalho anterior de Arik com TitanML sinalizou um padrão relacionado: equipes deployando múltiplas variantes fine-tuned do mesmo modelo base giraram instâncias de GPU separadas por fine-tune. Serving multi-adapter baseado em LoRA—hospedando um modelo base e hot-swapping adapters fine-tuned na mesma GPU—colapsa isso em uma única instância, cortando GPU-horas ociosas sem sacrificar especificidade de modelo.

Takeaway direto: se nenhum humano observa o fluxo de tokens em tempo real—agentes, evals, rotulagem, dados sintéticos—você paga por latência que não precisa. Reordenação de fila, agendamento assíncrono, quantização e seleção de tier de hardware direcionadas ao bucket não-tempo-real entregam redução de custo de 50–90%.