Disciplina de Injeção de Falhas Essencial para Confiabilidade em Produção de GPU

A apresentação do QCon AI de Bryan Oliver e o recente artigo da Sysart Consulting enfatizam que clusters de GPU que atendem a inferência em produção requerem uma disciplina rigorosa de injeção de falhas, considerando modos de falha específicos ao hardware que ferramentas de caos padrão muitas vezes negligenciam. O grupo FAIR da Meta registrou 150 milhões de horas de GPU A100 em 24.000 GPUs ao longo de onze meses, identificando falhas de link InfiniBand, falhas de montagem do sistema de arquivos, erros de memória do GPU e erros de PCIe como as principais fontes de downtime. Eles também observaram que grandes empregos que abrangem 4.000 ou mais GPUs representam menos de um percentual da contagem de carga de trabalho, mas consomem doze por cento dos recursos do cluster e falham desproporcionalmente frequentemente.

A pilha começa com a área de superfície do hardware. Um H100 tem 94 GB de VRAM, aproximadamente 90 sensores térmicos discretos e 400 GB/s de largura de banda de rede; oito GPUs por nó renderizam 752 GB de VRAM total. Na escala do rack, o Superchip GB200 Grace Blackwell da NVIDIA empacota 384 GB por chip, com 72 chips por rack apresentando-se como um único GPU lógico com 13-14 TB de memória virtual e um preço de aproximadamente 3 milhões de dólares por rack. As sete estratégias práticas de injeção de falhas de Oliver visam essas fronteiras: simulação de erro XID via Gerenciador de GPU de Data Center da NVIDIA, limitação térmica sob carga sintética, testes de partição NVLink, injeção de partição de rede RDMA entre nós e verificações de alinhamento NUMA. O DCGM, dividido em plano de controle dcgmi e o observabilidade lateral do DCGM-Exporter, fornece os ganchos de bare-metal para acionar falhas reais de GPU em vez de apenas matar pods.

O framework da Sysart Consulting define o estado estável de inferência como uma função de latência p50, p95 e p99, taxa de transferência em solicitações por segundo, qualidade de saída e utilização de memória do GPU, não apenas disponibilidade. Eles sinalizam uma regressão de latência de 200 ms para 30 segundos no p99 como um erro do sistema, mesmo se o tempo de atividade for de 99,9 por cento. Um perigo mais agudo é o padrão de redução do cache KV: sob pressão de memória, os frameworks de serviço muitas vezes truncam silenciosamente janelas de contexto em vez de lançar um erro OOM, corrompendo o estado do aplicativo sem expor um sinal de falha. Seu quadro de teste progressivo de quatro níveis começa com isolamento de componentes — matando uma única réplica, adicionando latência ao registro do modelo, corrompendo um ponto de verificação — e depois avança através de falhas de dependência, como interrupções de banco de dados de vetor ou serviço de embutido, degradação de infraestrutura incluindo lentidão do controlador de armazenamento e falhas simuladas de resfriamento em um subconjunto de nós, e finalmente, dias de jogo de produção completos durante janelas de tráfego mais baixas.

O artigo arXiv da Meta acrescenta insights quantitativos. Em dois clusters e quatro milhões de empregos, o grupo descobriu que os tempos limite do NCCL são atribuídos sistematicamente de forma incorreta: a classificação que relata o tempo limite geralmente está saudável, enquanto uma classificação não relacionada está presa carregando dados ou bloqueada em um recurso degradado. Eles também observaram que novos cheques de saúde inevitavelmente expõem modos de falha anteriormente invisíveis, criando picos aparentes na taxa medida de falha que refletem uma melhor visibilidade em vez de um pioramento no hardware. O cenário de falha é dinâmico; um bug do driver causando erros XID dominou o cluster RSC-1 da Meta no final de 2023 até ser corrigido, apenas para que as falhas de link InfiniBand disparem em nós ofensivos no verão de 2024.

A atribuição em escala permanece desafiadora. Oliver observou que "acho que nenhum de nós tem mais de um ano de experiência neste espaço nesta escala", realçando a infância da engenharia do caos de GPU em escala de rack. Um rack GB200 de 3 milhões de dólares atuando como um único GPU lógico significa que uma falha térmica ou NVLink pode destruir uma instância inteira do modelo, mas a maioria das organizações carece das ferramentas para injetar e observar esses erros sem impacto na produção. Os dados da Meta confirmam que as falhas de vários domínios são comumente mal diagnosticadas, e a Sysart adverte que a degradação de qualidade silenciosa — como um fallback para um modelo menor ou cache KV truncado — pode ser mais perigosa do que um crash limpo, pois o monitoramento não dispara.

A lição do arquiteto: trate o estado estável de inferência como uma hipótese conjunta sobre percentis de latência, qualidade de saída e comportamento de memória, não apenas tempo de atividade do endpoint, e valide-o através de injeção de falhas progressiva que começa com scripts bash e geração de carga Locust ou k6 antes de se graduar para frameworks nativos do Kubernetes como LitmusChaos ou Chaos Mesh.