Databricks anunciou FILE, um novo tipo de coluna nativa agora em beta que armazena dados não estruturados—documentos, imagens, áudio e vídeo—diretamente em tabelas Delta Lake ao lado de metadados estruturados. Ao contrário de abordagens tradicionais que armazenam arquivos em armazenamento de objetos separado e perdem contexto de governaça, colunas FILE usam ponteiros leves para arquivos enquanto aplicam controles de acesso refinado de Unity Catalog a linhas e colunas. Quando uma linha contendo um FILE é excluída, o binário no armazenamento de objetos também é excluído, tornando a conformidade GDPR automática.
As consultas podem ser executadas diretamente em colunas FILE usando UDFs SQL e Python padrão, disparando processamento de arquivo apenas quando necessário. Exemplo: uma empresa de veículo autônomo armazena vídeos dashcam como colunas FILE; um UDF Python amostra quadros em uma nova coluna FILE, um modelo de detecção de objetos é executado nesses quadros, e SQL une os perigos extraídos aos metadados estruturados de viagem—tudo sem codificação binária pesada na tabela. O desempenho escala porque o mecanismo puxa bytes apenas na etapa que os solicita, não para cada operação intermediária.
Databricks está trabalhando com a comunidade para construir suporte FILE diretamente em Parquet, Delta Lake, Iceberg e Spark, mantendo dados multimodais portáveis em ferramentas. Para equipes de dados criando análise de documentos assistida por agente, inspeção visual, análise de chamadas e compreensão de vídeo, FILE fecha a lacuna entre ativos não estruturados e dados governados queryáveis—reduzindo o atrito dos pipelines de treinamento, validação e recuperação.