Photoroom Troca Desempenho pelo Flexibilidade do Codificador na Treinamento de Difusão

O quarto estudo de caso PRX da Photoroom no Hugging Face revela as compensações do pipeline de dados e armazenamento por trás de seu desenho de ruído de difusão de produção com sete bilhões de parâmetros. O pipeline processa uma mistura de conjuntos de dados de imagens públicas e internas, relegenda-os com Qwen3-VL e serializa os resultados em Mosaic Data Shards (MDS) para treinamento distribuído. A Photoroom emprega MDS para misturar, embaralhar e transmitir diretamente do S3 ou GCS com um sobrecarga operacional mínima. Para tarefas de cirurgia de conjunto de dados, como pushdown de predicado, indexação escalar e busca de vetor em bilhões de linhas, eles mantêm os mesmos dados no Lance. Lance atua como o laboratório, enquanto MDS age como a transmissão.

Uma mudança significativa em relação às rodadas anteriores foi a abandono de latentes de texto pré-calculados. Anteriormente, o treinamento com T5Gemma armazenava latentes congeladas como arrays de bytes dentro de MDS, o que trancava a equipe a esse codificador a menos que eles reescrevessem terabytes de fragmentos. Para PRX, a Photoroom mudou para Qwen3-VL e agora computa latentes de texto no momento durante o treinamento, incorrendo em um custo de desempenho de 3-4 por cento, ou aproximadamente um dia adicional em uma execução de 30 dias. Essa mudança permite que o conjunto de dados completo de pré-treinamento caiba no sistema de arquivos compartilhado com suporte a SSD do cluster SLURM, eliminando a necessidade de streaming de armazenamento de objeto remoto e permitindo a troca de codificadores futuros sem custos adicionais.

Em termos de armazenamento de imagem, a equipe optou por JPEG na qualidade 92 em vez de PNG sem perdas. Eles verificaram esta faixa medindo ciclos de decodificação-codificação repetidos em amostras de alta e baixa resolução, notando que as imagens do mundo real geralmente já sobreviveram a várias compressões JPEG. Esta abordagem resulta em um footprint significativamente menor sem comprometer a qualidade medida. Combinado com a remoção de latentes pré-calculados, as economias de armazenamento permitem a colocalização de dados e cálculo.

A postagem não divulga a economia de inferência, como totais de horas de GPU, latência por imagem, pilha de serviço ou eval harness além de observações de qualidade de treinamento. A rigidez do MDS é outro custo latente: adicionar uma coluna ou filtrar um subconjunto requer varrer e reescrever o conjunto de dados inteiro, é por isso que Lance é necessário. O prejuízo de 3-4 por cento no momento, embora pequeno, é um imposto perpétuo. Equipes com codificadores estáveis e saída de armazenamento de objeto barato devem considerar se a pré-computação e o streaming do S3 é mais custo-efetivo do que pagar esse imposto em cada execução.

A lição chave para arquitetos é dividir o ciclo de vida do conjunto de dados entre um formato de coluna mutável para curadoria e um formato de streaming imutável para treinamento, e aceitar uma pequena penalização de desempenho para manter o slot do codificador de texto aberto.