Disciplina de Inyección de Fallos Esencial para la Confiabilidad en Producción de GPU

La presentación de QCon AI de Bryan Oliver y el reciente artículo de Sysart Consulting enfatizan que los clústers de GPU que sirven la inferencia en producción requieren una disciplina rigurosa de inyección de fallos, teniendo en cuenta los modos de fallo específicos del hardware que las herramientas de caos estándar a menudo pasan por alto. El grupo FAIR de Meta registró 150 millones de horas de GPU A100 en 24,000 GPUs durante once meses, identificando fallos de enlace de InfiniBand, fallos de montaje de sistemas de archivos, errores de memoria de GPU y errores de PCIe como las principales fuentes de tiempo de inactividad. También observaron que los trabajos grandes que abarcan 4,000 o más GPUs representan menos del uno por ciento del recuento de cargas de trabajo pero consumen el doce por ciento de los recursos del clúster y fallan desproporcionadamente a menudo.

La pila comienza con el área superficial del hardware. Un H100 tiene 94 GB de VRAM, aproximadamente 90 sensores térmicos discretos y 400 GB/s de ancho de banda de red; ocho GPUs por nodo producen 752 GB de VRAM total. A escala de rack, el Superchip GB200 Grace Blackwell de NVIDIA empaqueta 384 GB por chip, con 72 chips por rack presentándose como un solo GPU lógico con 13-14 TB de memoria virtual y una etiqueta de precio de aproximadamente 3 millones de dólares por rack. Las siete estrategias prácticas de inyección de fallos de Oliver apuntan a estos límites: simulación de errores XID a través del Administrador de GPU de Centro de Datos de NVIDIA, limitación térmica bajo carga sintética, pruebas de partición NVLink, inyección de particiones de red RDMA entre nodos y comprobaciones de alineación NUMA. DCGM, dividido en el plano de control dcgmi y el lado observador DCGM-Exporter, proporciona los ganchos en bare-metal para desencadenar fallos reales de GPU en lugar de simplemente matar pods.

El marco de Sysart Consulting define el estado estable de la inferencia como una función de p50, p95 y p99 de latencia, rendimiento en solicitudes por segundo, calidad de salida y utilización de memoria de GPU, no solo disponibilidad. Marcan una regresión de latencia de 200 ms a 30 segundos en el p99 como un fallo del sistema incluso si el tiempo de actividad lee el 99.9 por ciento. Un peligro más agudo es el patrón de reducción del caché KV: bajo presión de memoria, los marcos de servicio a menudo truncan silenciosamente ventanas de contexto en lugar de lanzar un error OOM, corromiendo el estado de la aplicación sin mostrar una señal de fallo. Su marco de prueba progresiva de cuatro niveles comienza con la aislamiento de componentes: matar una sola réplica, agregar latencia al registro del modelo, corromper un punto de control, luego escala a través de fallos de dependencia como interrupciones del servicio de base de datos de vectores o servicio de inserción, degradación de infraestructura incluyendo lentitud del controlador de almacenamiento y fallos simulados de enfriamiento en un subconjunto de nodos, y finalmente, días completos de juego de producción durante ventanas de tráfico más bajas.

El artículo de arXiv de Meta añade insights cuantitativos. A lo largo de dos clústers y cuatro millones de trabajos, el grupo encontró que los timeouts de NCCL se atribuyen sistemáticamente de manera incorrecta: el rango que informa el timeout generalmente es saludable, mientras que un rango no relacionado se bloquea cargando datos o bloqueado en un recurso degradado. También observaron que las nuevas comprobaciones de salud inevitablemente exponen modos de fallo anteriormente invisibles, creando picos aparentes en la tasa medida de fallo que reflejan una mejor visibilidad en lugar de un empeoramiento del hardware. El paisaje de fallos es dinámico; un error de controlador que causa errores XID dominó el clúster RSC-1 de Meta a finales de 2023 hasta que se parchó, solo para que los fallos de enlace de InfiniBand aumentaran en nodos ofensivos en el verano de 2024.

La atribución a gran escala sigue siendo desafiante. Oliver señaló que "Creo que ninguno de nosotros tiene más de un año de experiencia en este espacio a esta escala", subrayando la infancia de la ingeniería del caos de GPU a escala de rack. Un rack GB200 de 3 millones de dólares actuando como un solo GPU lógico significa que un solo fallo térmico o NVLink puede destruir una instancia de modelo completa, pero la mayoría de las organizaciones carecen de las herramientas para inyectar y observar estos fallos sin impacto en la producción. Los datos de Meta confirman que los fallos de múltiples dominios se diagnostican comúnmente incorrectamente, y Sysart advierte que la degradación de calidad silenciosa, como un regreso a un modelo más pequeño o un caché KV truncado, puede ser más peligrosa que un bloqueo limpio porque el monitoreo no dispara.

El mensaje para el arquitecto: trate el estado estable de la inferencia como una hipótesis conjunta en los percentiles de latencia, calidad de salida y comportamiento de memoria, no solo el tiempo de actividad del punto final, y validélo a través de la inyección de fallos progresiva que comienza con scripts bash y generación de carga de Locust o k6 antes de graduarse a marcos nativos de Kubernetes como LitmusChaos o Chaos Mesh.