Compilador Piper Elimina a Codificação Manual para Treinamento Distribuído

Pesquisadores na Universidade de Washington desenvolveram Piper, um compilador de treinamento distribuído de código aberto que simplifica a implementação de novas estratégias de paralelismo. Piper permite a especificação de anotações de modelo e diretivas de agendamento, eliminando a necessidade de reescrever manualmente planos de execução por dispositivo para clusters com centenas ou milhares de aceleradores.

Piper separa a estratégia de treinamento distribuído da implementação de tempo de execução em quadros como Megatron, DeepSpeed e TorchTitan, usando uma representação intermediária unificada: um DAG global de treinamento que captura todo o cálculo e comunicação em todo o cluster. Os usuários podem especificar particionamento ou replicação de parâmetros por meio de anotações de alto nível e aplicar diretivas de agendamento que transformam o DAG. Piper, então, compila esses em planos de execução por dispositivo e os dispacha por meio de um tempo de execução agnóstico de estratégia. Ao contrário dos quadros existentes, Piper trata o agendamento como uma otimização componível sobre o gráfico inteiro em vez de despachar operações independentemente ao longo de cada dimensão de paralelismo.

O caso de prova DualPipe demonstra a vantagem do Piper. A agenda personalizada paralela de pipeline do DeepSeek-V3 sobrepõe a comunicação paralela de especialista por colocalizar dois microlotes na mesma GPU e particionar manualmente recursos de multiprocessador de streaming entre computação e comunicação. Recriar isso em quadros de uso geral requer codificação manual por dispositivo porque Megatron e TorchTitan assumem que cada microlote possui a GPU inteira, e JAX/XLA carecem de abstrações para agendas de pipeline arbitrárias ou controle de recursos por dispositivo. Piper expressa o DualPipe inteiramente através de sua API de diretivas, compilando automaticamente a lógica de compartilhamento de SM e sobreposição.

Piper corresponde às linhas de base otimizadas do ZeRO para estratégias comuns e permite ganhos adicionais de desempenho e eficiência de memória da programação conjunta de computação e comunicação em estratégias compostas. O artigo da UW enquadra o problema como agendas de pipeline que deixam dispositivos ocioso enquanto esperam por dependências, argumentando que a otimização conjunta do DAG global recupera esse tempo ao sobrepor a comunicação com a computação em vez de tratar cada dimensão independentemente. O sistema visa extensibilidade, minimizando o esforço necessário para especificar e implementar estratégias de treinamento distribuído arbitrárias.

A integração e a madureza continuam como desafios. Questões de integração persistem para equipes operando em escala; equipes treinando modelos fundamentais confiam em ecossistemas construídos ao longo dos anos para pontos de verificação com tolerância a falhas, particionamento de estado do otimizador e ferramentas de depuração que Piper não demonstrou. O custo de tempo de compilação de um DAG global em milhares de aceleradores não é quantificado, assim como o comportamento sob interconectações heterogêneas ou mutações de estratégia no meio do trabalho. Além disso, o limite de complexidade da API de diretivas não foi provado: se uma estratégia nova requer entrar nos internos do compilador em vez de compor anotações existentes, o tempo de iteração prometido desaparece.