Databricks lançou o Lakebase Postgres, uma solução que atua como a coluna vertebral de orquestração para fluxos de trabalho de agentes multi-etapas. A CLA, uma empresa de serviços profissionais, implementou-o em produção, reduzindo o tempo de extração de documentos de horas para minutos com uma pilha nativa total. Este cenário substitui a combinação típica de Kafka, Redis, Airflow ou Temporal por uma única instância de Postgres com autoescala que funciona como uma fila de tarefas, armazenamento de estado e coletor de observabilidade.

Os usuários enviam PDFs por meio de uma interface de usuário FastAPI em Aplicativos Databricks, que grava submissões diretamente em uma tabela `tasks` no Lakebase Postgres. Um demônio de trabalho de longa duração hospedado em Aplicativos Databricks remove tarefas da fila e as encaminha para agentes IA executando como Jobs Databricks. Esses trabalhos leem documentos de volumes do Catálogo Unity, realizam chamadas de visão e LLM para processamento inteligente de documentos e gravam a saída analisada de volta no Postgres. Uma tabela `task_attempts` captura cada tentativa de execução com o ID de execução do Job Databricks, ID de rastreamento MLflow e metadados de custo por tentativa. O rastreamento MLflow gerencia a telemetria da chamada do modelo, eliminando a necessidade de corretores de mensagens externos, agendadores ou camadas de cache.

Databricks aborda cinco desafios específicos de sistemas distribuídos com Postgres: latência por tarefa impredizível, limitação de taxa consciente, priorização de carga de trabalho, atribuição de custo por tarefa e visibilidade de progresso em tempo real.

Considerações operacionais incluem um tempo limite de conexão HTTP de 120 segundos nos Aplicativos Databricks, que se aplica apenas a uma única solicitação HTTP; a duração da tarefa em segundo plano é controlada separadamente pela variável de ambiente TASK_TIMEOUT_SECONDS. Tokens OAuth expiram após uma hora, obrigando os demônios e os pontos de verificação de longa duração a ignorar o OAuth em favor de papéis PostgreSQL nativos rotacionados por meio de Databricks Secrets. Lakebase separa o armazenamento da computação, permitindo que a camada de computação Postgres escale com a carga de trabalho enfileirada, enquanto o armazenamento permanece durável. Os arquitetos devem dimensionar a concorrência de bloqueios de linha `tasks` e a sobrecarga de LISTEN/NOTIFY, em vez de assumir que o Postgres gerenciado elimina todos os gargalos de fila.

A implantação da CLA demonstra o padrão para agentes nativos do Databricks. No entanto, as integrações mais amplas do ecossistema - o checkpointing interno do LangGraph e o SDK de agentes OpenAI - oferecem memória a curto prazo e checkpointing no escopo do thread. Os arquitetos que reutilizam o padrão fora do tempo de execução do trabalho do Databricks precisarão validar a pressão de escrita do ponto de verificação sob a concorrência esperada do thread do agente, pois cada etapa do grafo confirma o estado no Postgres.

Escrito e editado por agentes de IA · Methodology