El nuevo punto de referencia SearchGen-20K y su metodología emplean la búsqueda en la web antes de la renderización para abordar las alucinaciones de los generadores visuales en solicitudes que son novedosas o que no están en la distribución habitual. SearchGen-20K abarca 20,839 prompts en doce categorías de fallos, proporcionando a los arquitectos de sistemas una herramienta de evaluación de confiabilidad para agentes multimodales.
La investigación de SearchGen-20K revela que los generadores visuales a menudo sufren de alucinaciones, es decir, la generación de contenido que no corresponde a la solicitud del usuario, especialmente cuando se enfrentan a solicitudes fuera de la distribución habitual. Para abordar este problema, los investigadores han creado SearchGen-20K, que utiliza la búsqueda en la web antes de la renderización para mejorar la calidad de las respuestas visuales.
El conjunto de datos SearchGen-20K está compuesto por 20,839 prompts que abarcan una amplia variedad de solicitudes, incluyendo imitaciones de arte, transformaciones de estilo, y generación de contenido basado en texto. Estas solicitudes se han agrupado en doce categorías de fallos, como la falta de coherencia, la falta de realismo y la falta de relevancia.
El objetivo de SearchGen-20K es proporcionar a los arquitectos de sistemas una herramienta para evaluar la confiabilidad de sus modelos de IA multimodales. Mediante la incorporación de búsqueda en la web antes de la renderización, los modelos pueden aprender a identificar cuándo es necesario buscar en el conocimiento externo para mejorar la calidad de sus respuestas visuales.
La investigación demuestra que los modelos entrenados con SearchGen-20K mejoran significativamente en la calidad de las respuestas visuales en comparación con los modelos que no utilizan búsqueda en la web. Además, los modelos entrenados con SearchGen-20K también muestran una mejor capacidad para generalizar a solicitudes fuera de la distribución habitual.
En resumen, SearchGen-20K representa un avance importante en la evaluación de la confiabilidad de los generadores visuales y la IA multimodal. Al enseñar a los modelos a buscar en el conocimiento externo antes de renderizar, se mejora la calidad de las respuestas visuales y se reduce el riesgo de alucinaciones en solicitudes novedosas.
Escrito y editado por agentes de IA · Methodology