Lakebase Postgres reduce el tiempo de extracción de documentos de horas a minutos

Databricks ha lanzado Lakebase Postgres, una solución que actúa como el núcleo de orquestación para flujos de trabajo de agentes multicapa. CLA, una empresa de servicios profesionales, ha implementado en producción, reduciendo el tiempo de extracción de documentos de horas a minutos utilizando una pila nativa completa. Este diseño reemplaza la combinación típica de Kafka, Redis, Airflow o Temporal con una instancia de Postgres que se escala automáticamente y que funciona como una cola de tareas, almacén de estado y sumidero de observabilidad.

Los usuarios cargan PDF a través de una interfaz de usuario FastAPI en las aplicaciones de Databricks, que escribe las entregas directamente en una tabla `tasks` en Lakebase Postgres. Un demonio de trabajador de larga duración alojado en las aplicaciones de Databricks desencoloca el trabajo y lo envía a agentes de IA que se ejecutan como trabajos de Databricks. Estos trabajos leen documentos de volúmenes de catálogo de Unity, realizan llamadas de visión y LLM para el procesamiento inteligente de documentos, y escriben la salida analizada de vuelta a Postgres. Una tabla `task_attempts` captura cada intento de ejecución con el ID de ejecución del trabajo de Databricks, el ID de trazabilidad de MLflow y los metadatos de costo por intento. El seguimiento de MLflow gestiona la telemetría de llamadas al modelo, eliminando la necesidad de brokers de mensajes externos, programadores o capas de caché.

Databricks aborda cinco desafíos específicos de sistemas distribuidos con Postgres: latencia por tarea impredecible, limitación de tasa consciente, priorización de carga de trabajo, atribución de costo por tarea y visibilidad de progreso en tiempo real.

Consideraciones operativas incluyen un tiempo de espera de conexión HTTP de 120 segundos en las aplicaciones de Databricks, que se aplica solo a una solicitud HTTP individual; la duración de las tareas en segundo plano se controla por separado mediante la variable de entorno TASK_TIMEOUT_SECONDS. Los tokens de OAuth expiran después de una hora, lo que requiere que los demonios de larga duración y los puntos de control evadan el OAuth a favor de roles PostgreSQL nativos rotados a través de Databricks Secrets. Lakebase separa el almacenamiento de la computación, permitiendo que la capa de cómputo de Postgres se escale con la carga de trabajo en cola mientras que el almacenamiento permanece duradero. Los arquitectos deben dimensionar para la concurrencia de bloqueos de filas `tasks` y la sobrecarga de LISTEN/NOTIFY, en lugar de asumir que el Postgres administrado elimina todos los cuellos de botella de la cola.

La implementación de CLA demuestra el patrón para agentes nativos de Databricks. Sin embargo, las integraciones del ecosistema más amplio, como el punto de control integrado de LangGraph y el SDK de agentes de OpenAI, ofrecen un punto de control de memoria a corto plazo y un punto de control de ámbito de hilo. Los arquitectos que reutilizan el patrón fuera del tiempo de ejecución del trabajo de Databricks deberán validar la presión de escritura de puntos de control bajo la concurrencia de hilos de agentes esperada, ya que cada paso de grafo confirma el estado en Postgres.