Acxiom reduz tempo de execução de pipeline em 80-90% na pilha agentica do Databricks

Acxiom cortou os tempos de execução do pipeline de marketing em 80-90% após migrar do Hadoop local para o Databricks, como detalhou Ankur Jain, Chefe de Nuvem e Modernização de Dados na Acxiom, em uma postagem no blog do Databricks. A empresa está construindo quatro categorias de fluxos de trabalho agenticos em uma camada de dados unificada com mais de dez mil atributos de cliente.

A camada de ingestão consolida dados de CRM, plataformas de comércio eletrônico, Adobe Analytics e Google Analytics em um gráfico de resolução de identidade do cliente. A Acxiom está desenvolvendo fluxos de trabalho agenticos para automatizar a cadeia de valor de marketing: os marketeiros inserem objetivos de campanha e perfis alvo, os agentes criam segmentos de público com perfis de amostra usando dados da Acxiom, expondo dimensões demográficas e comportamentais para refinamento; os agentes consultam o inventário disponível, o avaliam, tomam decisões de compra e ativam públicos em canais; o ML analisa anúncios em escala para alimentar um motor IA que gera variações altamente personalizadas em minutos; a IA compacta o ETL através da geração de código baseado em prompts, teste automatizado de saídas e pipelines CI/CD acelerados.

Jain enfatiza que a modernização de dados e a implantação agentica são sequenciais, com bases de dados fragmentadas levando ao gerenciamento excessivo de infraestrutura. A migração da Acxiom para o Databricks reduziu os tempos de execução da carga de trabalho de até 90 horas para 2-3 horas, liberando vários papéis de tempo integral de manutenção do Hadoop para trabalho de valor acrescentado.

As métricas operacionais da Acxiom se concentram na eficiência do pipeline em vez do desempenho de inferência. Os ciclos de protótipo para geração criativa e engenharia ETL foram reduzidos de meses para horas, com o gráfico de identidade resolvendo em mais de dez mil atributos de cliente. No entanto, as métricas para dimensionar uma implantação, como percentis de latência por chamada, figuras de custo em nível de token, especificações de modelo e eval harnesses para o fluxo de trabalho de compra de mídia, estão ausentes. Os arquitetos devem solicitar latências p50 e p99 para chamadas de planejamento de agente, custo por mil gerações de segmentos de público e pontuações de eval offline comparando segmentos construídos por agentes com bases de referência curadas pelo homem.

O modelo de negócios da Acxiom mudou de fornecedor de dados para uma camada de inteligência incorporada nos ambientes dos clientes, levantando questões de governança, pois não há guardrails divulgados para limites de gasto, avaliação de inventário ou testes de regressão em relação ao desempenho da campanha histórica. Os arquitetos devem considerar o custo de integração e a lacuna de avaliação como reais.

A camada de agente deve ser tratada como uma camada de orquestração sem estado lendo de um gráfico de identidade pre-materializado, não como um sistema para cobrir pipelines de dados fragmentados, pois a razão contra um esquema não confiável pode comprometer a implantação agentica.