Post-Mortem de 22 Fallas Silenciosas Revela por qué los Agentes de LLM Engañan

Un análisis post-mortem de un tiempo de ejecución de agente asistente personal de producción, que involucra 40 trabajos programados, 8 proveedores de LLM, 4,286 pruebas unitarias y 827 comprobaciones de gobernanza, ha identificado 22 fallas silenciosas durante un período de ocho semanas, con un patrón meta-recurrente que aparece 28 veces. El estudio, basado en un sistema en producción continua desde marzo de 2026, revela que las fallas más dañinas no generan excepciones sino que degradan en narrativas fluidas y plausibles entregadas directamente al usuario.

El documento de arXiv clasifica las fallas en cinco clases orientadas a mecanismos. La clase D, "alucinación encadenada y fabricación", es particularmente endémica de los agentes de LLM y representa el mayor riesgo operativo: cuando el tiempo de ejecución encuentra un error, el modelo lo reescribe en una finalización coherente pero falsa, resultando en el usuario recibiendo un resultado incorrecto convincente. Este fenómeno se denomina "falla plausible", donde el observador no solo está ciego sino que también es engañado activamente por el propio señal de falla. Otros factores incluyen peculiaridades del entorno y plataforma, incompatibilidades entre suposiciones de diseño, tragar errores y dilución dentro del proxy de gobernanza de herramientas y puntos ciegos forenses en el plano de memoria de base de conocimiento.

En términos operativos, los datos desafían los métodos de aseguramiento de calidad convencionales. Aproximadamente el 70% de las fallas silenciosas fueron detectadas por la observación del usuario humano, no por pruebas automatizadas o auditorías. Una revisión retrospectiva de 15 incidentes mostró un 0% de prevención ex-ante y un 87% de bloqueo de regresión, respaldando la afirmación de los autores de que las auditorías funcionan como motores de regresión en lugar de motores de predicción. La latencia de los incidentes varió de 13 horas a 60 días, con las fallas de vida más larga ocurriendo en las junturas entre el proxy de herramienta, el plano de memoria y los proveedores de LLM: "donde no se ejecuta ninguna prueba". La complejidad del código no fue un predictor; el área de superficie de frontera lo fue.

El stack en sí es revelador. Ocho backends de LLM crean múltiples superficies de entrega entre el proxy de gobernanza de herramientas, el plano de memoria de base de conocimiento y la capa de generación, incrementando la probabilidad de que los errores sean tragados o reescritos antes de llegar a un humano. La investigación de apoyo en 100,000 interacciones de agentes de producción y 40,000 pruebas controladas modela esto como decadencia entrópica: el desorden se acumula monótonamente con las rondas de interacción, y la falla silenciosa es una restricción termodinámica que debe ser gobernada, no una clase de errores que debe ser parchada. Esta investigación propone un motor de Puerta de Integridad Física y un protocolo de Ingeniería de Entrega de Agente como contramedidas deterministas.

Las taxonomías de referencias como el marco NeurIPS 2025 MAST mapearon 14 modos de falla a lo largo de 1,600 trazas de siete sistemas multi-agente, pero esas trazas eran sintéticas y limitadas. El conjunto de datos de Wu es distinto: un único tiempo de ejecución observado a lo largo del tiempo real del calendario, donde las fallas envejecieron durante semanas porque ninguna sonda cruzó el límite del componente que las ocultaba.

Para los arquitectos de producción, el riesgo no resuelto yace en la instrumentación de las junturas. Si casi todas las defensas solo bloquean regresiones y el sistema puede fabricar sus propias excusas, entonces la agregación de registros, el seguimiento a nivel de token y las comprobaciones de gobernanza son necesarios pero insuficientes. El marco de defensa ofrecido hace que los fallos de agentes sean "ruidosos, atribuibles y aburridos", pero lograr este estado requiere tratar la observación humana de la salida de usuario final como una capa de detección de primera clase en lugar de un puntal operativo temporal.

Los arquitectos de producción deben tratar los tiempos de ejecución de agentes multi-proveedor como sistemas distribuidos donde el modo de falla más aterrador es indistinguible de la salida correcta y invertir en la observabilidad entre componentes que hace que los errores sean visibles aburridamente antes de que se conviertan en mentiras fluidas.