DoorDash redujo la latencia de su flujo de reórdenes de supermercado impulsado por IA de aproximadamente 16 segundos a 2 segundos, según el informe de InfoQ sobre la arquitectura de la compañía. El cambio también duplicó las vistas de la lista de compras y aumentó la tasa de pedidos del flujo en aproximadamente un 34%, según InfoQ. La solución no fue un modelo más rápido: fue sacar por completo el razonamiento costoso de la ruta de la solicitud.

El mecanismo es la precomputación. En lugar de reconstruir una lista de compras de productos recurrentes desde cero en cada solicitud, DoorDash ahora procesa 90 días de historial de compras junto con señales del perfil del consumidor fuera de línea, usando inferencia por lotes con LLM para identificar posibles compras recurrentes. Una validación determinista revisa esos resultados generados antes de almacenarlos como datos reutilizables de la lista de compras. Para cuando un consumidor abre el flujo de reorden, el trabajo pesado ya se ha realizado.

Lo que se ejecuta en vivo es más acotado: una ruta de servicio que recupera la lista preparada y resuelve cada artículo contra el catálogo de productos actual. InfoQ describe una cadena de respaldo (fallback): el sistema primero intenta coincidir con el artículo original de la tienda, luego con un identificador de producto del catálogo y, finalmente, con un término de búsqueda, lo que le permite manejar listados descontinuados o modificados sin volver a ejecutar el razonamiento histórico en cada llamada. Este es el intercambio central: el sistema todavía invoca un agente de Grocery cuando una solicitud necesita razonamiento genuino, como encontrar alternativas más baratas según precios actuales, promociones, tamaños de paquete, inventario y preferencias del consumidor, pero las ediciones más simples —cambiar cantidades, eliminar un producto— actualizan la lista de compras directamente sin otro viaje de ida y vuelta al LLM.

El flujo de reorden se apoya en lo que InfoQ llama la plataforma de agentes compartida de DoorDash, que proporciona orquestación, memoria, acceso a modelos, trazabilidad, infraestructura de evaluación y controles de implementación, mientras que los equipos de dominio mantienen la propiedad de las instrucciones del agente, las habilidades, las herramientas y los criterios de evaluación para su propia porción del sistema. DoorDash informa que agregar su agente de Reservations sobre esta plataforma compartida tomó una semana, lo que la compañía dice que es aproximadamente diez veces más rápido que construir sus agentes de dominio iniciales desde cero, una cifra sobre reutilización, no sobre costo de inferencia ni latencia.

La arquitectura también trata el estado de manera distinta a un bucle de agente típico basado en chat. Una publicación técnica de DoorDash citada por InfoQ afirma que «la edición directa de un consumidor es autoritativa: el siguiente turno del agente parte de la lista editada, no de lo que se dijo antes». La lista de compras es un artefacto estructurado que tanto el consumidor como el agente pueden modificar directamente, en lugar de un historial de conversación que el agente tiene que volver a analizar para inferir el estado actual, lo que explica en parte por qué las ediciones simples no necesitan pasar en absoluto por un viaje de ida y vuelta al LLM.

Twisha Jain, ingeniera de DoorDash, planteó la decisión de diseño subyacente en una publicación de LinkedIn citada por InfoQ: «Los mejores sistemas agénticos no siempre se tratan de más razonamiento; se trata de decidir qué pertenece al bucle del agente y qué puede ocurrir de antemano». Esa es la decisión arquitectónica real que se reporta aquí, y también es el límite de lo que se revela: el artículo de InfoQ no da nombre de modelo, ni conteos de tokens, ni cifras de costo de inferencia, ni detalles sobre el tamaño de los trabajos por lotes o la frecuencia con que se actualizan las listas precomputadas. La cifra de latencia de 16 a 2 segundos, el aumento del 34% en la tasa de pedidos, la ventana de historial de 90 días y el despliegue del agente de Reservations en una semana, aproximadamente diez veces más rápido, son las cifras que InfoQ revela; el perfil de costo de la infraestructura de servicio subyacente no está entre ellas.

El artículo también señala, sin profundizar, que el asistente de compras con IA de Instacart maneja la planificación de comidas, la creación de listas y el descubrimiento de productos usando señales de personalización similares, un recordatorio de que lo interesante del caso de DoorDash no es que un agente toque el supermercado, sino que la mayor parte del trabajo del agente se sacó por completo de la solicitud en vivo.

La conclusión para un arquitecto que lea esto como un patrón de orquestación: antes de recurrir a un modelo más rápido o una ventana de contexto más grande para reducir la latencia del agente, verifique cuánto del bucle está en realidad volviendo a derivar algo que ya era cierto ayer, y mueva esa parte fuera de línea.