A DoorDash reduziu a latência do seu fluxo de recompra de mercado baseado em IA de cerca de 16 segundos para 2 segundos, de acordo com a reportagem da InfoQ sobre a arquitetura da empresa. A mudança também dobrou as visualizações de listas de compras e aumentou a taxa de pedidos do fluxo em aproximadamente 34%, segundo a InfoQ. A correção não foi um modelo mais rápido — foi tirar o raciocínio custoso do caminho da requisição por completo.

O mecanismo é a pré-computação. Em vez de reconstruir uma lista de compras de recompra recorrente do zero a cada requisição, a DoorDash agora processa 90 dias de histórico de compras junto com sinais de perfil do consumidor offline, usando inferência de LLM em lote para identificar prováveis compras recorrentes. Uma validação determinística verifica esses resultados gerados antes de serem armazenados como dados reutilizáveis de lista de compras. No momento em que o consumidor abre o fluxo de recompra, o trabalho pesado já aconteceu.

O que roda em tempo real é mais restrito: um caminho de serviço que recupera a lista preparada e resolve cada item em relação ao catálogo de produtos atual. A InfoQ descreve uma cadeia de fallback — o sistema primeiro tenta corresponder ao item original da loja, depois a um identificador de produto do catálogo e, por fim, a um termo de busca — o que permite lidar com listagens descontinuadas ou alteradas sem reexecutar o raciocínio histórico a cada chamada. Essa é a troca central: o sistema ainda aciona um agente Grocery quando uma requisição precisa de raciocínio genuíno, como encontrar alternativas mais baratas com base em preços atuais, promoções, tamanhos de embalagem, estoque e preferências do consumidor, mas edições mais simples — alterar quantidades, remover um produto — atualizam a lista de compras diretamente, sem outra ida e volta ao LLM.

O fluxo de recompra está construído sobre o que a InfoQ chama de plataforma de agentes compartilhada da DoorDash, que fornece orquestração, memória, acesso a modelos, rastreamento, infraestrutura de avaliação e controles de lançamento, enquanto as equipes de domínio mantêm a propriedade das instruções, habilidades, ferramentas e critérios de avaliação dos agentes para sua própria fatia do sistema. A DoorDash relata que adicionar seu agente Reservations sobre essa plataforma compartilhada levou uma semana, o que a empresa diz ser aproximadamente dez vezes mais rápido do que construir seus agentes de domínio iniciais do zero — um número sobre reutilização, não sobre custo de inferência ou latência.

A arquitetura também trata o estado de forma diferente de um loop de agente típico baseado em chat. Um post de engenharia da DoorDash citado pela InfoQ afirma que "a edição direta de um consumidor é autoritativa: o próximo turno do agente parte da lista editada, não do que foi dito anteriormente". A lista de compras é um artefato estruturado que tanto o consumidor quanto o agente podem modificar diretamente, em vez de um histórico de conversa que o agente precisa reanalisar para inferir o estado atual — o que é parte do motivo pelo qual edições simples não precisam de ida e volta nenhuma ao LLM.

Twisha Jain, engenheira da DoorDash, formulou a decisão de design subjacente em um post no LinkedIn citado pela InfoQ: "Sistemas agentivos melhores nem sempre são sobre mais raciocínio; são sobre decidir o que pertence ao loop do agente e o que pode acontecer com antecedência". Essa é a verdadeira decisão arquitetural relatada aqui, e também é o limite do que foi divulgado — a matéria da InfoQ não traz nome de modelo, contagens de tokens, números de custo de inferência, nem detalhes sobre o tamanho dos jobs em lote ou a frequência com que as listas pré-computadas são atualizadas. O número de latência de 16 para 2 segundos, o aumento de 34% na taxa de pedidos, a janela de histórico de 90 dias e o lançamento do Reservations em uma semana, aproximadamente dez vezes mais rápido, são os números que a InfoQ divulga; o perfil de custo da pilha de serviço subjacente não está entre eles.

A matéria também observa, sem detalhar, que o assistente de compras de IA da Instacart lida com planejamento de refeições, criação de listas e descoberta de produtos usando sinais de personalização semelhantes — um lembrete de que a parte interessante do caso da DoorDash não é um agente lidar com mercado, e sim que a maior parte do trabalho do agente foi retirada da requisição em tempo real por completo.

A lição para um arquiteto que lê isso como um padrão de orquestração: antes de recorrer a um modelo mais rápido ou a uma janela de contexto maior para reduzir a latência do agente, verifique quanto do loop está, na verdade, redescobrindo algo que já era verdade ontem — e mova essa parte para offline.