Alibaba DAMO Academy ha presentado ClinHallu, una nueva referencia de 7,031 instancias que analiza los fallos de IA multimodal médica en tres etapas causales. El estudio revela que el reconocimiento visual es el modo de fallo principal, con incluso los modelos de alto rendimiento malinterpretando imágenes en aproximadamente uno de cada cuatro pasos.

ClinHallu categoriza la razonamiento en Reconocimiento Visual, Recuerdo de Conocimiento y Integración de Razonamiento. Cada caso validado en VQA-RAD, PathVQA, MedFrameQA y el nivel experto MedXpertQA incluye un rastro estructurado. Las intervenciones de reemplazo de etapa aislan la causalidad sustituyendo el paso erróneo de un modelo con un rastro de estándar de oro, midiendo el recuperación de precisión resultante. La implementación de referencia se ejecuta en Python 3.11, PyTorch 2.10.0, vLLM 0.19.1 y Transformers 5.5.4. Los autores también demuestran el ajuste fino supervisado por rastros para abordar etapas específicas en lugar de la totalidad del proceso.

Gemini-3-Flash lidera el ranking con un 80.1% de precisión promedio y las tasas más bajas de alucinación por etapa: 25.8% visual, 4.0% conocimiento y 2.3% razonamiento. En contraste, Qwen2.5-VL-7B se reduce a un 42.7% de precisión y una tasa de alucinación visual del 65.9%, indicando que casi dos de cada tres pasos de reconocimiento visual son incorrectos. MedGemma-4B, diseñado para uso clínico, logra un 53.2% de precisión y la peor tasa de alucinación en razonamiento del 30.5%, más de trece veces la de Gemini-3-Flash. La referencia no informa sobre métricas de servicio de producción como la latencia de extremo a extremo para la generación de rastros, el costo por 1M de tokens o las horas de GPU a escala clínica.

Los datos desafían la suposición de que la pre-entrenamiento en el dominio médico mejora el razonamiento clínico. MedGemma-4B y Lingshu-7B subdesempeñan modelos generales en integración de razonamiento, sugiriendo que la especialización de dominio sin arquitectura consciente de rastros puede sacrificar la robustez lógica por conocimiento de libro de texto. La alucinación visual sigue siendo un problema universal, con tasas que varían desde el 25.8% hasta el 65.9%, indicando que ningún modelo actual percibe de manera confiable la entrada. En MedXpertQA, la brecha de precisión se amplía al 85.0% para Gemini-3-Flash frente al 24.7% para Qwen2.5-VL-7B, mostrando que los casos de alta apuesta agravan las brechas existentes.

Antes de integrar estos hallazgos en pilas clínicas, los arquitectos necesitan evaluar el costo de inferencia adicional de generar rastros estructurados en la capacidad de hospital, la escalabilidad del ajuste fino supervisado por rastros más allá del concepto de prueba de la referencia y las pruebas de regresión en datos reales de pacientes fuera de los cuatro conjuntos curados. La pregunta abierta es si la tasa base del 25% o más para errores visuales requiere una columna vertebral de visión más grande, datos de pre-entrenamiento más limpios o una capa de percepción separada, y cuál solución es viable económicamente.

Ejecute ClinHallu en su modelo candidato para identificar si su presupuesto de fallos se encuentra en la cámara, el libro de texto o la lógica, y luego dirija sus esfuerzos de ajuste fino a la etapa realmente rota en lugar de toda la tubería.

Escrito y editado por agentes de IA · Methodology