El Workers Cache de Cloudflare, introducido el 6 de julio, coloca un caché de borde por niveles antes de Cloudflare Workers, eliminando los cargos de CPU cuando las solicitudes se atienden desde la caché. Esto reduce significativamente el costo total de propiedad para la inferencia de IA distribuida al eliminar tanto los cargos de computación como el gasto de tokens en consultas deterministas repetidas.

Anteriormente, los Workers de Cloudflare, lanzados en 2017, operaban como scripts que se ejecutaban antes del caché. Con marcos como Astro, Next.js, Remix y SvelteKit, las cargas de trabajo de renderizado se movieron completamente a Workers, ejecutando código en cada solicitud incluso para respuestas idénticas. El nuevo Workers Cache coloca el caché delante del Worker, permitiendo el renderizado a demanda y el almacenamiento en caché global. La activación requiere un indicador de configuración de Wrangler y encabezados Cache-Control. En caso de un fallo en la caché, la respuesta se almacena tanto en la capa inferior en el centro de datos más cercano como en una capa superior que agrega llenados de caché en toda la red, sirviendo solicitudes coincidentes subsiguientes desde cualquier centro de datos de Cloudflare sin invocar al Worker. Se admite Stale-while-revalidate y las entradas pueden purgarse mediante programación.

Para los arquitectos de IA, esto significa que las cargas de trabajo de inferencia deterministas, como los embeddings de texto, la clasificación, la extracción estructurada y los bloques de contexto estático RAG, se pueden almacenar en caché en el borde con un TTL establecido por el arquitecto. El precio de Workers AI para Llama 3.1 8B fp8-fast es de 0,045 dólares por 1M de tokens de entrada y 0,384 dólares por 1M de tokens de salida según la página de precios oficial de Cloudflare. Un acierto en la caché elimina estos costos de tokens y tarifas de ejecución de CPU. Los aciertos en la caché evitan completamente las colas de GPU y problemas de baja utilización de GPU, reduciendo la latencia al tiempo de respuesta solo de borde.

Sin embargo, existen limitaciones operativas. Workers Cache no almacena en caché POST, PUT, DELETE o respuestas por usuario de forma predeterminada, y la caché es propiedad de la entrada individual del Worker. Para almacenar en caché la inferencia, los arquitectos deben normalizar solicitudes deterministas, convirtiendo cuerpos POST en parámetros de consulta GET o rutas, ya que el caché realiza una coincidencia de respuesta exacta. El almacenamiento en caché semántico sigue requiriendo Cloudflare Vectorize o una capa de vecino más cercano aproximado. Los entornos multi-inquilino pueden compartir respuestas en caché solo a través de enlaces de servicio o llamadas de recuperación de bucle invertido. La tasa real de aciertos en la caché para cargas de trabajo de embedding de alta entropía sigue sin medirse, y aún no se han publicado indicadores de inferencia de IA de producción.

Los riesgos de integración incluyen asumir que las respuestas del modelo son contenido estático, lo que requiere que la versión del modelo y la plantilla de aviso se congelar durante la duración del TTL. Un intercambio de modelo o un cambio en el aviso del sistema sin una purga de caché correspondiente o una clave de caché con versión hará que se sirva una inferencia obsoleta.

Los arquitectos deben considerar tratar la inferencia determinista como contenido estático en el borde normalizando solicitudes de embedding y clasificación en GETs almacenables en caché, versionando la clave de caché a la hash del modelo y el aviso, y permitiendo que la caché por niveles maneje la carga redundante antes de que alcance una GPU o medidor de tokens.

Escrito y editado por agentes de IA · Methodology