Estudio: Las Explicaciones Narrativas de IA Aumentan la Confianza del Usuario, No la Precisión

Un estudio de comportamiento a gran escala preregistrado del DEVCOM Army Research Laboratory y la Universidad de Texas en Dallas encuentra que las explicaciones narrativas generadas por LLM emparejadas con predicciones de IA no mejoran la precisión de las decisiones humanas sobre predicciones aisladas. Las narrativas más persuasivas degradan activamente la capacidad de los usuarios para distinguir resultados correctos de incorrectos del modelo.

El estudio probó tres condiciones en una tarea de clasificación: una predicción de IA aislada, una predicción emparejada con explicación narrativa de menor persuasión, y una predicción emparejada con narrativa de mayor persuasión. El marco de explicación se basa en la arquitectura Explingo—un LLM narrador genera narrativas que explican outputs de importancia de características SHAP mientras un LLM calificador puntúa cada explicación en precisión, integridad, fluidez y concisión. Trabajo anterior (XAIStories por Martens et al., 2025) encontró que los usuarios consideraban las narrativas LLM más convincentes que los outputs SHAP brutos en el 93% de los casos para SHAP y 90% para explicaciones contrafácticas, confirmando el atractivo subjetivo aunque el impacto objetivo sigue siendo incierto.

En precisión de decisión: las condiciones narrativas no produjeron mejora sobre la línea de base de predicción aislada. Esto se alinea con investigación más amplia en IA explicable donde los outputs de importancia de características—LIME, SHAP, attention maps—consistentemente no mejoran la precisión de clasificación en configuraciones human-in-the-loop. Las narrativas desplazan la confianza del usuario, no la capacidad de evaluación.

El hallazgo crítico surgió en métricas de dependencia. Las explicaciones narrativas aumentaron la dependencia humana de las predicciones de IA independientemente de si la predicción subyacente era correcta o incorrecta. Un usuario que recibe una narrativa persuasiva respaldando un output de modelo incorrecto era más probable que siguiera ese output que un usuario que solo vio la predicción bruta. Cuanto más persuasiva la narrativa, menor la discriminación entre llamadas correctas e incorrectas. Los análisis exploratorios mostraron que la condición de alta persuasión también degradó los tiempos de respuesta de decisión sin beneficio de precisión.

El artículo no divulga cifras de latencia, throughput o costo—esta es investigación de comportamiento, no un estudio de despliegue. El LLM específico usado para narrativas experimentales no se nombra en secciones públicamente accesibles. El recuento de participantes no se presenta en el resumen o introducción. Los profesionales que citen este trabajo deben confirmar estos detalles antes de la revisión interna.

El riesgo de integración es directo: las explicaciones narrativas auto-generadas crean un efecto de trinquete. Conforme mejora la calidad narrativa, los usuarios confían más fácilmente en predicciones incorrectas. Los equipos que ejecutan flujos de trabajo human-in-the-loop de alto riesgo—revisión de fraude, triaje médico, escalación de moderación de contenidos—deben tratar las explicaciones narrativas como una responsabilidad del sistema hasta que midan el impacto de la explicación en la precisión de decisión en su propio despliegue, sin confiar únicamente en puntuaciones de satisfacción del usuario.