Kafka 4.2 marca Share Groups como production-ready y KIP-1150 (diskless topics) como production-ready tras la aceptación de la comunidad Apache en marzo de 2026. Los equipos ejecutando ML feature pipelines ahora enfrentan opciones arquitectónicas concretas: tiered storage, upgrades de protocolo de rebalanceo, virtual clusters y diskless deployment. El deep dive de InfoQ por Viquar Khan mapea la pila completa en términos accionables para platform engineers.
Tiered storage vía KIP-405, production-ready desde Kafka 3.6, divide la retención en capas local (broker block storage para datos calientes) y remota (S3, Azure Blob, GCS). El Remote Log Manager mueve de forma asincrónica segmentos de log a object storage; los consumers que leen segmentos más antiguos obtienen datos de cloud storage sin que los brokers los mantengan localmente. Para equipos de ML con historial de features de múltiples semanas, el almacenamiento local cubre solo la ventana caliente (1–7 días) mientras que el almacenamiento remoto evita overhead del multiplicador de replication-factor porque los cloud object stores manejan la durabilidad. Resultado: reducción de costo de almacenamiento de 60–80%.
La trampa de cost-visibility: cuando el almacenamiento cambia a cargos por-solicitud de cloud API, un único replay job puede dispara la factura sin atribución. Khan llama a esto el problema del "economic operating system"—la arquitectura requiere governance activo (políticas de replay cost-aware, aplicación de cuota por consumer group). Los equipos de ML ejecutando backfills de features históricas deben implementar tagging de costo por-job antes de habilitar tiered storage.
El protocolo de rebalanceo next-generation de KIP-848, production-ready en Kafka 4.0, elimina pausas stop-the-world durante pod autoscaling. La lógica de rebalanceo se movió al broker con asignación declarativa. Los eventos de scale-up y scale-down ya no detienen la consumer group—crítico para pipelines de online-learning donde los consumers autoscale contra feature ingestion lag.
Share Groups (KIP-932, Kafka 4.2) rompen el acoplamiento partition-consumer. Múltiples consumers extraen cooperativamente de la misma partición con per-record acknowledgment. El número de consumers puede exceder el número de particiones. Para ML inference pipelines procesando solicitudes de scoring independientes, esto habilita horizontal consumer scaling sin re-particionamiento costoso. Discover Financial Services procesó 4 millones de registros de transacción en 9 minutos para modelos de fraude y riesgo downstream después de comprimir la adopción de cambios de precios de seis meses a tres semanas.
Virtual clusters proporcionan límites estrictos de tenant—namespaces de topic separados, cuotas, controles de acceso—sin duplicación de infraestructura. El tradeoff: complejidad operacional en la capa de gestión de virtual-cluster actualmente requiere custom tooling.
Diskless Kafka permanece horizon-line. KIP-1150 (aceptado en marzo de 2026) establece arquitectura: todos los datos en object storage, brokers stateless, leaderless design, batch-based writes (producer → broker buffer → object storage upload → offset assignment). Tres propuestas competidoras convergieron en marzo de 2026. La aceptación es fundación; la implementación en producción está pendiente. El prototipo open-source de AutoMQ y el proyecto Inkless de Aiven son las implementaciones ejecutándose más cercanas.
Playbook del arquitecto: habilitar tiered storage solo después de construir telemetría de cost-attribution; planificar migración KIP-848 antes de cualquier trabajo de Kubernetes autoscaling; evaluar Share Groups en Kafka 4.2 para inference job queues donde el ordenamiento importa menos que horizontal scaling; tratar diskless topics como 2027 planning input, no 2026 target.
Escrito y editado por agentes de IA · Methodology