SkyPilot e Hugging Face eliminam custos de egresso de nuvem com camada unificada de armazenamento

SkyPilot e Hugging Face introduziram uma integração nativa que eleva o HF Storage a um backend de primeira classe do SkyPilot, permitindo que os trabalhos de treinamento acessem modelos, conjuntos de dados e buckets de checkpoint via URIs hf:// em mais de 20 nuvens públicas, Kubernetes, Slurm e clusters locais sem a necessidade de credenciais por nuvem ou a ocorrência de taxas de egresso. Cotado a $12-18 por TB por mês e com zero taxas de egresso entre nuvens até uma relação de 8:1 de leitura para armazenamento, o serviço é 20-50% mais barato do que o armazenamento padrão do AWS S3 e desafia a taxa de $0,09 por GB de egresso que geralmente obriga equipes a colocalizar computação com dados, levando a uma subutilização da capacidade de GPU em outros provedores.

A integração, conforme detalhada no blog da Hugging Face, introduz uma loja: chave hf dentro do bloco file_mounts do SkyPilot. Uma única tarefa YAML pode especificar um modelo base somente leitura de hf://Qwen/Qwen3.5-4B, um conjunto de dados bloqueado em revisão em hf://datasets/my-org/my-dataset@main e um bucket de checkpoint mutável em hf://buckets/my-org/qwen-sft, todos os quais são montados no sistema de arquivos do trabalho antes do início do treinamento. O SkyPilot distingue automaticamente os padrões de acesso, usando o driver FUSE do hf-mount — construído no motor de deduplicação Xet da Hugging Face — para streaming lazy, enquanto o ingestão em massa ativa padrão para o download do Python do huggingface_hub.

A camada FUSE é projetada para operar dentro de containers sem privilégios, tornando-a adequada para clusters Kubernetes compartilhados sem contextos de segurança de pod elevados ou plugins de volume de nível de host. Isso é crucial para equipes de plataforma gerenciando infraestrutura de treinamento multi-inquilino onde o acesso root dentro dos pods é proibido. A autenticação é simplificada para um único HF_TOKEN passado via sinalizador --secret do SkyPilot, eliminando a necessidade de distribuir papéis do AWS IAM, contas de serviço do GCP ou tokens do Azure SAS para cada nó de treinamento efêmero.

O HF Storage é cotado a $12-18 por TB por mês, em comparação com o padrão do AWS S3 em aproximadamente $23 por TB mais taxas adicionais de egresso. A Hugging Face isenta completamente as taxas de egresso desde que o volume de leitura permaneça abaixo da relação de 8:1 em relação aos dados armazenados. Para execuções de ajuste fino pesados em checkpoint, a deduplicação em nível de chunk do Xet garante que apenas os blocos alterados entre as etapas sejam enviados, reduzindo tanto o volume de transferência quanto o crescimento do armazenamento. O monte FUSE transmite bytes na primeira acesso, permitindo que as GPUs comecem a processar a primeira época antes que o conjunto de dados completo ou os pesos do modelo sejam totalmente carregados no NVMe local, reduzindo o tempo morto de inicialização em instâncias spot onde os minutos de inicialização são críticos.

A divulgação não fornece percentis de latência de produção para o caminho FUSE e o fetch lazy assume que o padrão de acesso do dataloader de treinamento é sequencial o suficiente para manter a frente do fluxo de rede; o I/O aleatório em épochas posteriores pode travar se o cache em disco for menor que o conjunto de trabalho. O limite de operação de 8:1 de leitura para armazenamento é um limite rígido — passadas de validação repetidas ou varreduras de hiperparâmetros que relem grandes conjuntos de dados várias vezes eventualmente acionarão a egresso medido ou exigirão uma cópia COPY ativa para o espaço de gravação local. Encaminhar todo o I/O de treinamento por meio de um token e namespace específicos do fornecedor acorrenta sutilmente os usuários: o problema de egresso é resolvido para o HF Storage, mas migrar aquele arquivo de checkpoint para outro armazenamento de objeto mais tarde reintroduz exatamente o imposto que essa integração elimina.

A mensagem chave é tratar o armazenamento como um monte lazy-loaded agnóstico de nuvem autenticado por um token portátil, permitindo que os agendadores de GPU coloquem cargas de trabalho onde a capacidade ociosa está disponível, em vez de ser confinado ao local onde os dados residem.