SkyPilot y Hugging Face eliminan los costos de egreso en la nube con una capa de almacenamiento unificada

SkyPilot y Hugging Face han presentado una integración nativa que eleva HF Storage a un backend de primera clase de SkyPilot, permitiendo que los trabajos de entrenamiento accedan a modelos, conjuntos de datos y depósitos de puntos de control a través de URIs de hf:// en más de 20 nubes públicas, Kubernetes, Slurm y clústers locales sin necesidad de credenciales por nube o incurrir en tarifas de egreso. Precio al mes de 12-18 dólares por TB y sin tarifas de egreso entre nubes hasta una relación de lectura-almacenamiento de 8:1, el servicio es un 20-50 por ciento más barato que el almacenamiento estándar de AWS S3 y desafía la tarifa de egreso de 0.09 dólares por GB que normalmente obliga a los equipos a ubicar la computación junto con los datos, lo que lleva a una subutilización de la capacidad de GPU en otros proveedores.

La integración, como se detalla en el blog de Hugging Face, introduce una tienda: clave hf dentro del bloque file_mounts de SkyPilot. Una única tarea YAML puede especificar un modelo base de solo lectura de hf://Qwen/Qwen3.5-4B, un conjunto de datos bloqueado por revisión en hf://datasets/my-org/my-dataset@main, y un depósito de puntos de control mutable en hf://buckets/my-org/qwen-sft, todos los cuales se montan en el sistema de archivos del trabajo antes de que comience el entrenamiento. SkyPilot distingue automáticamente los patrones de acceso, utilizando el controlador FUSE de hf-mount, construido en el motor de deduplicación Xet de Hugging Face, para transmisión perezosa, mientras que la ingesta masiva ansiosa por defecto se dirige al descargador estándar de Python de huggingface_hub.

La capa FUSE está diseñada para operar dentro de contenedores sin privilegios, lo que la hace adecuada para clústers de Kubernetes compartidos sin contextos de seguridad de pod elevados o complementos de volumen de nivel de host. Esto es crucial para los equipos de plataforma que gestionan la infraestructura de entrenamiento multi-inquilino donde el acceso root dentro de los pods está prohibido. La autenticación se simplifica a un único HF_TOKEN pasado a través de la bandera --secret de SkyPilot, eliminando la necesidad de distribuir roles de IAM de AWS, cuentas de servicio de GCP o tokens de SAS de Azure a cada nodo de entrenamiento efímero.

HF Storage está precio al mes de 12-18 dólares por TB, en comparación con AWS S3 estándar a aproximadamente 23 dólares por TB más tarifas de egreso adicionales. Hugging Face renuncia por completo a las tarifas de egreso siempre que el volumen de lectura permanezca por debajo de una relación de 8:1 en contra de los datos almacenados. Para ejecuciones de ajuste fino pesadas en puntos de control, la deduplicación a nivel de bloque de Xet garantiza que solo se carguen los bloques modificados entre pasos, reduciendo tanto el volumen de transferencia como el crecimiento del almacenamiento. El montaje FUSE transmite bytes en el primer acceso, permitiendo que las GPUs comiencen a procesar la primera época antes de que el conjunto de datos completo o los pesos del modelo se carguen completamente en el NVMe local, reduciendo así el tiempo muerto de inicio en instancias spot donde los minutos de arranque son críticos.

El anuncio no proporciona percentiles de latencia de producción para la ruta FUSE, y la obtención perezosa supone que el patrón de acceso del cargador de datos de entrenamiento es lo suficientemente secuencial como para mantenerse a la delantera de la transmisión de red; la E/S aleatoria en épocas posteriores puede bloquearse si el caché en disco es más pequeño que el conjunto de trabajo. El límite operativo de 8:1 de lectura-almacenamiento es un límite duro: pasadas de validación repetidas o barridos de hiperparámetros que releen grandes conjuntos de datos varias veces eventualmente activarán el egreso medido o requerirán una copia ansiosa en el espacio local. Enrutar todo el E/S de entrenamiento a través de un token y espacio de nombres específicos del proveedor suaviza la adhesión de los usuarios: el problema de egreso se resuelve para HF Storage, pero migrar ese archivo de puntos de control a otro almacén de objetos más tarde vuelve a introducir la misma tasa que esta integración elimina.

El mensaje clave es tratar el almacenamiento como un montaje perezoso, independiente de la nube y autenticado por un token portátil, lo que permite a los programadores de GPU colocar las cargas de trabajo donde esté disponible la capacidad inactiva, en lugar de estar confinados a donde residen los datos.