Target Despliega Ranker con LLM Cubriendo el 100% de Pronósticos de Campañas

Los equipos internos de marketing y análisis de Target reemplazaron su sistema de coincidencia de campañas basado en reglas con un pipeline de generación aumentada por recuperación que combina incrustaciones densas y un ranker de LLM. El sistema presenta las campañas históricas más relevantes antes de cualquier nuevo lanzamiento de campaña, permitiendo que los planificadores anclen pronósticos en el desempeño real del pasado en lugar de intuición. En evaluación en una división entrenamiento-prueba separada por tiempo en un conjunto diverso de campañas, la recomendación mejor rankeada cubrió el 75% de los casos. Las tres recomendaciones principales alcanzaron una cobertura del 100% — cada campaña evaluada tenía al menos un análogo histórico utilizable.

El sistema antiguo falló en dos aspectos. Primero, dependía de conjuntos de reglas creados manualmente que requerían mantenimiento continuo conforme proliferaban formatos de campañas, canales y segmentos de audiencia. Segundo, fallaba completamente en tipos de campañas de cola larga sin definiciones de reglas correspondientes. A medida que el volumen de canales y la diversidad de campañas aumentaban, la carga operativa de mantener las reglas actualizadas superaba la utilidad del sistema.

El pipeline de reemplazo funciona en tres etapas discretas. Las campañas históricas se normalizan y se convierten en incrustaciones que codifican atributos estructurados — segmento de audiencia, categoría de producto, canal e intención de campaña. Esas incrustaciones residen en un índice de similitud interno. Cuando se crea una nueva campaña, el sistema genera una incrustación a partir de sus metadatos, ejecuta recuperación de vecino más cercano aproximado contra el índice y devuelve un conjunto candidato de campañas históricas. Ese conjunto candidato se entrega a un LLM, que re-rankea y refina la lista utilizando restricciones estructuradas y señales contextuales, luego devuelve una salida rankeada con una explicación en lenguaje natural para cada coincidencia.

Dividir el pipeline en tres etapas independientes — embed, retrieve, LLM rank — fue una elección arquitectónica deliberada. Cada etapa puede ajustarse, reemplazarse o depurarse sin afectar a las otras, y los resultados intermedios son inspeccionables. Los analistas de marketing ven tanto los candidatos recuperados como las explicaciones generadas por el modelo antes de que cualquier cosa alimente un flujo de trabajo de pronóstico. El sistema encuentra comparables históricos que informan expectativas en lugar de predecir resultados de campañas directamente. Cada recomendación se fundamenta en atributos históricos concretos en lugar de una puntuación opaca.

El bucle de retroalimentación se construye desde el principio. Conforme se completan las campañas, sus datos de desempeño refinan las incrustaciones, lo que mejora la calidad de recuperación para futuras consultas. El índice no es estático — aprende qué campañas históricas son comparables útiles y ajusta el espacio de incrustación en consecuencia.

Al adaptar este patrón, dos cosas requieren atención. Primero, la calidad de la incrustación es fundamental. Los atributos estructurados como segmento de audiencia y canal deben normalizarse consistentemente entre campañas históricas y nuevas, o la recuperación se degrada antes de que el ranker de LLM pueda ayudar. La normalización deficiente aguas arriba produce candidatos irrelevantes que ningún re-ranker puede corregir. Segundo, el paso de revisión humana no es fricción opcional — es la señal de calibración. La aceptación y rechazo de recomendaciones por parte de analistas indica si la recuperación o el ranking está fallando y en qué tipos de campañas.

Para equipos que operan infraestructura de planificación similar, los números de cobertura 75% top-1 / 100% top-3 son una línea de base útil para un sistema embed-retrieve-rank bien ajustado en un contexto de campaña minorista. Los pipelines RAG son estándar, pero desplegar uno contra metadatos de campañas internas estructurados en lugar de texto no estructurado es un patrón de diseño específico que generaliza bien más allá del pronóstico de marketing.