O Feature Store da Databricks agora entrega uma garantia de latência end-to-end p99 de 200ms — medida desde um evento bruto chegando em Kafka até a disponibilidade de features para inferência do modelo. Para sistemas de detecção de fraude e personalização que anteriormente toleravam minutos a horas de atraso de features em jobs em batch do Spark, isso representa uma mudança estrutural no que uma plataforma de features gerenciada pode entregar.

A arquitetura funciona através de quatro saltos: eventos chegam em Kafka; Spark Real-Time Mode (RTM) em Lakeflow Spark Delta Pipelines sem servidor processa-os continuamente; agregados atualizados são despejados em Lakebase via um sink JDBC de streaming; endpoints de Model Serving extraem features de Lakebase no momento da inferência. A diferença principal: RTM processa linhas conforme chegam em vez de acumular microbatches, removendo o piso de latência de limite de batch que tornava atualização em sub-segundo impossível em versões anteriores.

O gerenciamento de estado usa instâncias RocksDB por nó. Para uma soma de transações em janela deslizante de 10 minutos — um sinal canônico de fraude — cada evento recebido atinge o armazenamento local RocksDB, incrementa o total, impõe expiração de janela e envia o valor atualizado para Lakebase. A leitura-incremento-escrita permanece na memória; apenas o valor da feature atravessa a rede. Checkpointing é amortizado entre eventos em vez de bloquear por linha, preservando o orçamento de latência.

Lakebase gerencia o lado de escrita. Pequenos upserts de agregações de streaming criam armadilhas de amplificação de escrita para armazenamento tradicional. A separação compute-storage de Lakebase lida com isso: escritas de alta taxa no ritmo de streaming sem pressão de compactação que degrada latências de cauda em formatos orientados por coluna.

Feature Store suporta três semânticas de janela. Janelas tumbling se alinham a intervalos de relógio de parede, emitindo apenas em limites — fresco às 12:10, obsoleto até 12:20. Janelas sliding se sobrepõem: uma janela de 10 minutos com slide de 5 minutos reduz obsolescência pela metade, mas persiste o problema de limite. Janelas rolling olham para trás a partir do timestamp de cada evento com resolução em milissegundos, atualizando em cada evento. Sistemas de fraude e personalização necessitando do SLA de 200ms exigem janelas rolling; janelas tumbling neste ritmo desperdiçariam o investimento em streaming.

Uma definição de feature agora alimenta tanto pipelines batch offline quanto pipelines streaming online. Anteriormente, times de fraude mantinham jobs em batch separados para baselines e jobs de streaming customizados para agregações, cada um com sua própria infraestrutura. Feature Store roteia ambos através de uma definição e um framework — Spark RTM, Lakebase e Model Serving orquestrados por baixo. Deployments em produção testarão se essa abstração se sustenta sob evolução de schema e backfills.

Para arquitetos avaliando plataformas em tempo real, 200ms p99 ancora conversas sobre SLA. O tradeoff: estado RocksDB por nó significa que escalabilidade horizontal introduz overhead de coordenação quando janelas cobrem múltiplas partições. Avalie isso antes de se comprometer com agregações em janelas rolling em alta cardinalidade.