Databricks Feature Views unificam treinamento e serviço com latência de 200ms

Databricks lançou a Feature Views em visualização pública, oferecendo uma abstração gerenciada que consolida o cálculo histórico de recursos e o serviço em tempo real sob uma única definição do Unity Catalog, alcançando uma latência de 200ms no p99 de ponta a ponta, do evento Kafka até à disponibilidade online.

A pilha é ancorada pelo Feature Engineering Client SDK, que opera no Databricks Runtime 14.2 ML. Um praticante pode definir um recurso em um notebook, como uma soma de deslocamentos de 10 minutos, e essa definição gera automaticamente um conjunto de treinamento pontualmente correto e um pipeline de produção. Este método aborda o viés entre treinamento e serviço, um problema comum em sistemas de ML de produção, armazenando a lógica de cálculo de recursos com os dados e impondo a correção temporal, evitando assim a divergência entre o código de treinamento em lote e o código de serviço em tempo real.

Feature Views, quando registrados no Unity Catalog, se tornam objetos governados com linhagem e controles de acesso. Uma única chamada de `materialize_features` provisiona a infraestrutura de back-end necessária sem orquestração adicional. Databricks utiliza o Spark Realtime Mode para atualizações contínuas de agregados por evento e o Lakebase como a loja online otimizada para streaming, projetada para minimizar a amplificação de escrita durante alta frequência de pequenas atualizações. O Spark Realtime Mode calcula janelas rolantes retroativamente de cada timestamp de evento com resolução em milissegundos, enquanto o Model Serving recupera recursos no momento da inferência por meio de pontos de extremidade de dimensionamento automático dentro do limite de rede do cliente.

A latência de 200ms no p99 de ponta a ponta abrange todo o processo, desde a ingestão do Kafka até à disponibilidade da loja online, o que é crucial para aplicações sensíveis à latência, como detecção de fraudes ou preços de viagens. O cliente Skyscanner relata que a abstração reduziu o volume de código de recursos, permitindo que os cientistas de dados se concentrassem no modelagem de valor do viajante. A plataforma também oferece recuperação de dados estruturados para aplicações RAG, indicando a intenção da Databricks de posicionar a loja de recursos como infraestrutura para pilhas agenticas, além dos tradicionais ML tabulares.

No entanto, o status de visualização implica em riscos potenciais de implantação, pois os SLAs, preços por recurso e comportamento de início frio para pontos de extremidade de dimensionamento automático ainda não estão finalizados. A latência de 200ms no p99 é um benchmark relatado pela plataforma sob condições gerenciadas pela Databricks e pode variar com a partição do Kafka, a cardinalidade do evento e a complexidade das agregações rolantes. O modelo de serviço gerenciado reduz a gestão de infraestrutura, mas limita a capacidade de observabilidade e ajuste em comparação com um stack de gerenciamento próprio do Flink ao Redis. A migração não é trivial, exigindo que a lógica de recursos existente seja reescrita no SDK do Databricks, e as equipes ficam presas ao ciclo de lançamentos da Databricks para infraestrutura de inferência crítica.

Os arquitetos devem considerar a adoção do contrato de API, que envolve a definição de recursos de forma declarativa, a imposição automática da correção pontual no tempo e o roteamento da mesma lógica tanto para o treinamento em lote quanto para a inferência de fluxo com uma única chamada de materialização.