El cuarto estudio de caso de Photoroom en Hugging Face revela los compromisos de la tubería de datos y el almacenamiento detrás de su desenmascarador de difusión de producción de 7 mil millones de parámetros. La tubería procesa una mezcla de conjuntos de imágenes públicas e internas, vuelven a subtitularlas con Qwen3-VL y serializan los resultados en Mosaic Data Shards (MDS) para entrenamiento distribuido. Photoroom utiliza MDS para mezclar, barajar y transmitir directamente desde S3 o GCS con un mínimo de sobrecarga operativa. Para tareas de cirugía de conjuntos de datos como el empuje de predicados, el índice escalar y la búsqueda de vectores a través de miles de millones de filas, mantienen los mismos datos en Lance. Lance sirve como el laboratorio, mientras que MDS actúa como la cinta transportadora.
Un cambio significativo con respecto a ejecuciones anteriores fue la abandono de latentes de texto precalculados. Anteriormente, el entrenamiento con T5Gemma almacenaba latentes congeladas como arrays de bytes dentro de MDS, lo que cerraba al equipo en ese codificador a menos que reescribieran terabytes de fragmentos. Para PRX, Photoroom cambió a Qwen3-VL y ahora calcula latentes de texto al vuelo durante el entrenamiento, incurriendo en un costo de rendimiento del 3-4 por ciento, o aproximadamente un día adicional en un ciclo de 30 días. Este cambio permite que el conjunto de datos completo de pre-entrenamiento quepa en el sistema de archivos compartido respaldado por SSD del clúster SLURM, eliminando la necesidad de transmisión por red desde almacenamiento de objetos remotos y permitiendo futuros intercambios de codificadores sin costos adicionales.
En términos de almacenamiento de imágenes, el equipo optó por JPEG con calidad 92 en lugar de PNG sin pérdida. Verificaron este umbral midiendo ciclos de decodificación-codificación repetidos en muestras de alta y baja resolución, notando que las imágenes del mundo real ya han sobrevivido a múltiples compresiones JPEG. Este enfoque resulta en un pie menor significativamente sin comprometer la calidad medida. Combinado con la eliminación de latentes precalculados, los ahorros de almacenamiento permiten la coubicación de datos y cómputo.
La publicación no revela la economía de inferencia, como el total de horas de GPU, la latencia por imagen, la pila de servicio o el arnés de evaluación más allá de las observaciones de calidad de entrenamiento. La rigidez de MDS es otro costo latente: agregar una columna o filtrar un subconjunto requiere escanear y volver a escribir el conjunto de datos completo, por eso es necesaria Lance. El penal de 3-4 por ciento al vuelo, aunque pequeño, es un impuesto perpetuo. Los equipos con codificadores estables y egreso de almacenamiento de objetos barato deben considerar si precalcular y transmitir desde S3 es más rentable que pagar este impuesto en cada ejecución.
El mensaje clave para los arquitectos es dividir el ciclo de vida del conjunto de datos entre un formato de columna mutable para curación y un formato de streaming inmutable para entrenamiento, y aceptar una pequeña penalización de rendimiento para mantener abierta la ranura del codificador de texto.
Escrito y editado por agentes de IA · Methodology