Databricks Feature Store ahora proporciona actualizar de recursos en tiempo real con latencia p99 de 200ms desde la ingesta de Kafka hasta la disponibilidad de la tienda de recursos en línea, reduciendo el retraso de recursos de minutos/horas a sub-milisegundo. La actualización combina tres componentes: Spark Real-Time Mode (RTM) para procesamiento continuo de eventos línea por línea con agregaciones de ventana deslizante, Lakebase para almacenamiento en línea optimizado para streaming con amplificación de escritura reducida, y orquestación automática a través de puntos finales del Servicio de Modelos.
La arquitectura elimina la opción tradicional entre consistencia de lote (lento, recursos obsoletos) y código de streaming personalizado (rápido, frágil, alta carga de operaciones). Los científicos de datos ahora pueden crear una definición de recurso una sola vez y ejecutarla en canalizaciones de lote (para caracteristicas de línea de base histórica) y flujos en tiempo real (para características de señal actual). El sistema mantiene instancias RocksDB con estado por ventana de agregación para rastrear sumas/recuentos/promedios deslizantes en granularidad de evento, luego escribe actualizaciones a través de un nuevo conector JDBC de streaming.
La detección de fraude y la personalización son los casos de uso que impulsan esto: los modelos de fraude requieren señales frescas de los últimos 10 minutos combinadas con líneas de base de 30 días para distinguir el comportamiento normal del anómalo. Los modelos de personalización necesitan señales de intención en tiempo real para impulsar el compromiso. A escala, la arquitectura intercambia precisión de reloj de pared (límites de intervalo exactos) por actualizar de milisegundo utilizando ventanas deslizantes que miran hacia atrás desde la marca de tiempo de cada evento en lugar de sincronizar con límites de intervalo fijo.
Para profesionales de ML ops y equipos de plataforma de características, la implicación es que las agregaciones de streaming ya no requieren consumidores Kafka personalizados, gestión de estado y conectores JDBC externos. La capa de abstracción reduce la carga de ingeniería y permite que cientistas de datos no especialistas implementen canalizaciones de recursos frescos. Sin embargo, la latencia de 200ms se mide p99 en una sola agregación; la latencia de producción de extremo a extremo (incluida la recuperación, conversión vectorial, inferencia del modelo) será mayor, y los profesionales deben validar SLOs de extremo a extremo multirrecurso para sus casos de uso.