Cloudflare ha introducido una función de sugerencia de región para su Smart Tiered Cache, abordando un problema de enrutamiento que añadía latencia a las faltas de caché de orígenes alojados en la nube. La actualización permite a los operadores especificar la región geográfica donde se ejecutan los backends de AWS, GCP, Azure o Oracle Cloud, evitando que la topología de caché seleccione una capa superior intercontinental que enrute el tráfego de manera ineficiente.
Smart Tiered Cache típicamente dirige todas las faltas de caché a través del único punto de presencia (PoP) de menor latencia antes de que el backend reciba la solicitud, incrementando las tasas de aciertos en caché y reduciendo el número de conexiones de origen. Sin embargo, los equilibradores de carga de nube pública a menudo están detrás de frentes de anycast o unicast regionales, lo que hace que una única IP se resuelva al borde más cercano del proveedor en la nube en lugar de un servidor físico específico. Cloudflare utiliza una restricción basada en la física para detectar orígenes anycast: si las sondas de dos puntos de control global devuelven combinados tiempos de latencia más rápidos de lo que la luz podría viajar en fibra entre esos puntos de control, el origen es anycast. Anteriormente, esto resultaría en una retroceder a una topología de varias capas o un riesgo de elegir un PoP incorrecto.
Un modo de fallo específico descrito en una entrada de blog de la empresa involucraba un origen de Singapur detrás de una IP anycast que medía menor latencia desde Chicago, lo que llevó a Smart Tiered Cache a promover a Chicago como la única capa superior. Esto resultó en que los usuarios asiáticos fueran enruteados a Chicago, que luego obtuvo desde Singapur, añadiendo un viaje de ida y vuelta intercontinental completo y cientos de milisegundos de latencia adicional. La solución es un desplegable "Establecer Sugerencia de Región" en el panel bajo Configuración de Origen, que asigna la verdadera región en la nube al pie correcto de la huella geográfica y asigna las capas superiores primarias y de respaldo cerca del backend real.
La función está disponible gratuitamente en todos los planes y no requiere cambios en el lado del origen. Cloudflare afirma que este cambio concentra las faltas de caché en un PoP cercano al origen real, lo que lleva a menos extracciones de origen y mejores tasas de aciertos que la retroceder de varias capas. Sin embargo, la empresa no proporciona porcentajes específicos de tasas de aciertos en caché antes y después, deltas de recuento de conexiones, o latencias de origen p50/p99, por lo que los arquitectos deberán validar estos beneficios contra sus propias métricas y análisis de Cloudflare.
El desafío operativo es que la sugerencia es estática; si una carga de inferencia se migra a una nueva región en la nube, la sugerencia se vuelve obsoleta hasta que se actualice. Los equipos que ejecutan réplicas de modelo de varias regiones deben mantener la anotación de cada origen precisa para evitar volver a la ambigüedad de anycast. La entrada de blog también presenta la mejora de eficiencia de caché como direccional en lugar de medida, por lo que los ingenieros de plataforma deben considerar la corrección de latencia comprobada pero la ganancia de tasa de aciertos como una hipótesis para probar contra las métricas de carga del lado del origen.
El mensaje clave es dejar de permitir que las sondas de anycast a nivel de red anulen los mapas de despliegue — anotate cada origen con su ubicación física real para permitir que la capa de caché enrute de manera adecuada.
Escrito y editado por agentes de IA · Methodology