Cloudflare elimina cobranças de GPU para inferência de IA em cache com novo Workers Cache

O Workers Cache da Cloudflare, introduzido no dia 6 de julho, coloca um cache de borda em camadas antes dos Workers da Cloudflare, eliminando as cobranças de CPU quando as solicitações são atendidas do cache. Isso reduz significativamente o custo total de propriedade para a inferência de IA distribuída, removendo tanto as cobranças de computação quanto o gasto de token em consultas determinísticas repetidas.

Antes, os Workers da Cloudflare, lançados em 2017, operavam como scripts que rodavam antes do cache. Com frameworks como Astro, Next.js, Remix e SvelteKit, as cargas de renderização foram movidas inteiramente para os Workers, executando código em cada solicitação, mesmo para respostas idênticas. O novo Workers Cache coloca o cache na frente do Worker, permitindo renderização sob demanda e cache global. A ativação requer uma bandeira de configuração do Wrangler e cabeçalhos Cache-Control. Em caso de falha no cache, a resposta é armazenada tanto na camada inferior no data center mais próximo quanto em uma camada superior que agrega preenchimentos de cache pela rede, atendendo solicitações subsequentes correspondentes de qualquer data center da Cloudflare sem invocar o Worker. O Stale-while-revalidate é suportado e as entradas podem ser limpas programaticamente.

Para arquitetos de IA, isso significa que cargas de trabalho de inferência determinística, como embeddings de texto, classificação, extração estruturada e blocos de contexto RAG estáticos, podem ser armazenadas em cache na borda com um TTL definido pelo arquiteto. O preço do Workers AI para Llama 3.1 8B fp8-fast é de $0,045 por 1M de tokens de entrada e $0,384 por 1M de tokens de saída, de acordo com a página oficial de preços da Cloudflare. Um acerto de cache elimina esses custos de token e taxas de execução da CPU. Os acertos de cache evitam completamente a fila de GPU e problemas de utilização baixa da GPU, reduzindo a latência para o tempo de resposta apenas na borda.

No entanto, existem restrições operacionais. O Workers Cache não armazena POST, PUT, DELETE ou respostas por usuário por padrão, e o cache é propriedade do ponto de entrada individual do Worker. Para armazenar a inferência, os arquitetos devem normalizar solicitações determinísticas, convertendo corpos POST em parâmetros de consulta GET ou caminhos, pois o cache realiza correspondência exata de resposta. O cacheamento semântico ainda requer Cloudflare Vectorize ou uma camada de vizinho mais próximo aproximado. Configurações multi-inquilino podem compartilhar respostas em cache apenas por meio de associações de serviço ou chamadas de fetch de loopback. A taxa real de acerto de cache para cargas de trabalho de embedding de alta entropia ainda não foi medida, sem benchmarks de inferência de IA de produção publicados ainda.

Os riscos de integração incluem assumir que as respostas do modelo são conteúdo estático, o que requer que a versão do modelo e o modelo de prompt sejam congelados durante a duração do TTL. Uma troca de modelo ou mudança no prompt do sistema sem uma limpeza de cache correspondente ou chave de cache com versão criará uma inferência obsoleta.

Os arquitetos devem considerar o tratamento da inferência determinística como conteúdo estático na borda, normalizando solicitações de embedding e classificação em GETs armazenáveis em cache, versionando a chave de cache para o hash do modelo e prompt, e permitindo que o cache em camadas lidem com carga redundante antes de atingir um GPU ou medidor de token.