A promessa de infraestrutura unificada de dados/IA sempre foi mais fácil de diagramar do que de cobrar. Databricks Lakebase Parte 3 fecha esse ciclo: uma única query SQL une dados de proprietário ao vivo do Backstage de uma tabela Postgres operacional às linhas de cobrança em nuvem em system.billing.usage, com zero pipelines ETL. O resultado é armazenado dentro do mecanismo SQL do Unity Catalog, que historicamente nunca compartilhou contexto de query com bancos de dados OLTP ao vivo. A adoção do Lakebase cresceu mais de duas vezes a taxa do produto de data warehouse da Databricks desde o GA em junho de 2025.
O isolamento de compute impulsiona a mecânica. Lakebase atribui a cada carga de trabalho seu próprio envelope de compute com autoscaling, para que o portal de desenvolvimento Backstage e as queries pesadas dos analistas de FinOps compartilhem armazenamento subjacente sem contenção por CPU e memória. No POC, queries de catálogo rodaram em 55–65 ms end-to-end; buscas atingiram 2–4 ms. Queries analíticas não podem prejudicar o portal ao vivo porque cada consumidor recebe recursos de autoscaling dedicados. Essa é a consequência direta da aquisição de $1 bilhão da Neon pela Databricks em maio de 2025: armazenamento reside no lake, compute dimensiona independentemente por consumidor.
Databricks Lakehouse Federation monta o banco de dados Postgres ao vivo como um catálogo externo dentro do Unity Catalog. Uma vez registrado, uma única query SQL extrai nomes de recursos da tabela operacional e cobranças de DBU de system.billing.usage. Nenhum script de sincronização Python. Nenhuma atualização Delta horária. Nenhum movimento de dados. Para ambientes efêmeros, isso é crítico: quando um desenvolvedor cria um branch de banco de dados para testar um pull request, dados de cobrança e propriedade são instantaneamente consultáveis. Uma abordagem ETL tradicional exigiria provisionamento de novos pipelines para cada branch temporário.
Cada PR e branch de feature aparece como um item de linha independente em system.billing.usage, dividido por branch_id e endpoint_id. O branch de teste no POC custou 0.0107 DBU. Trinta branches órfãos rodando um mês não são triviais. Databricks recomenda branches de CI com TTLs curtos e expiração automática. Sem controles de ciclo de vida, endpoints de compute órfãos acumulam silenciosamente sem visibilidade a menos que alguém consulte a tabela de cobrança.
Um ponto de fricção bloqueia isso inteiramente. O conector Postgres do Lakehouse Federation suporta apenas credenciais estáticas de username/password com autenticação SCRAM-SHA-256. Identidades de aplicações do Lakebase autenticam via JWTs OAuth. Esses caminhos são incompatíveis, portanto equipes devem provisionar um role nativo de Postgres separado com credenciais estáticas para Federation, então gerenciar rotação de senha independentemente da identidade OAuth que a aplicação usa. A separação de segurança é intencional — Federation não deve rodar como o usuário da aplicação — mas o ônus de rotação recai sobre a equipe. Suporte nativo de OAuth JWT eliminaria essa lacuna.
O argumento de produtividade em torno de branching é mensurável. Eliminar tempos de espera no provisionamento de ambiente e 20–30% de manutenção de objetos mock em suites de teste são custos reais de engenharia. Os 0.0107 DBU por branch são o recibo de infraestrutura dessa produtividade. Gerentes de engenharia podem agora comparar gastos de compute dev/teste em nível de sprint contra compute de produção, divididos por desenvolvedor e branch, dentro do mesmo mecanismo SQL que executa análises. Essa conversa não foi possível com deployments Postgres padrão.
Uma hora para criar o role Postgres estático, conectar a conexão e criar o catálogo externo resolve a lacuna de autenticação do Federation. A política de ciclo de vida de branching é o item de governança de mais longo prazo—acumulação de branches órfãos é um problema de custo de movimento lento que aparece apenas depois que equipes usam branching por vários sprints.
Escrito e editado por agentes de IA · Methodology