Trocar a Ordem de Imagem e Texto Altera a Precisão do VLM em 26 Pontos

Um estudo da USC e CMU mostrou que modelos de visão-língua (VLMs) têm dificuldades com problemas de geometria quando apresentados como diagramas, embora resolvam quando escritos em texto. Esta lacuna de consistência intermodal representa uma ameaça para pipelines de produção que analisam documentos de design, diagramas de arquitetura ou entradas multimodais. O estudo introduz um benchmark de geometria controlado, ODA-Data, onde cada problema aparece em três visualizações bloqueadas — texto-dominante, imagem-dominante e combinada imagem-mais-texto — demonstrando que os VLMs atuais têm dificuldades com a apresentação superficial de semânticas idênticas. Para abordar isso, os autores propõem um método de aprendizado por reforço que usa a visualização de melhor desempenho do modelo em um problema dado como professor e distila-a em visualizações mais fracas por meio de um objetivo de KL reverso e rollouts de política, sem a necessidade de anotação externa, usando a própria visualização de melhor desempenho do modelo como um sinal interno de professor.

A inconsistência não é um caso marginal. MM-R³, um artigo publicado nas ACL Findings 2025 (Chou et al., páginas 4762–4788), documenta que a consistência dos VLMs não acompanha a precisão — modelos de alta precisão não são necessariamente mais consistentes — em tarefas de reformulação de pergunta, reestilização de imagem e razão de contexto, alcançando melhorias absolutas de consistência de 5,7% e 12,5% no BLIP-2 e LLaVA 1.5M com um adaptador direcionado. Um estudo separado do arXiv em julho de 2025 sobre sensibilidade à ordem de modalidade descobre que simplesmente trocar a posição da imagem e da consulta textual no prompt produz lacunas de precisão de 6 a 26 pontos percentuais em três famílias de modelos e três benchmarks, com a consulta de imagem-primeiro consistentemente superando a consulta de questão-primeiro. Os autores do MIRROR veem a assimetria de visualização cruzada como um sinal de supervisão: se o modelo encontra um caminho de razão válido sob uma visualização, esse trajetória pode ser reavaliada e reforçada sob a visualização do aluno restrito, usando a própria ambiguidade multimodais do modelo como dado de treinamento.

Como um artigo de metodologia de treinamento, MIRROR relata melhorias na precisão do benchmark de geometria e na consistência entre visualizações em relação às linhas de base padrão de RL no ODA-Val; este é o escopo esperado para esta classe de pesquisa, e o estudo não inclui métricas de serviço de inferência, como latência p50 ou p99, horas de GPU por execução de treinamento, figuras de custo por chamada ou números de taxa de transferência de uma pilha de inferência implantada. Arquitetos devem tratar esses resultados como um conceito de prova para o método de treinamento, não uma melhoria de plataforma validada. Se você atualmente mitiga o risco de modalidade enviando o mesmo conteúdo como texto e imagem e votando nos resultados, você está absorvendo uma sobrecarga de token e latência não trivial em cada chamada; a pesquisa enquadra o refinamento de visualização emparelhada como um caminho para eliminar essa sobrecarga, mas apenas para equipes que executam sua própria infraestrutura de RL. Até lá, cada diagrama de arquitetura passado para um VLM deve ser considerado como tendo uma taxa de erro dependente de visualização independente da pontuação de benchmark principal do modelo.

O caminho de integração para MIRROR é desafiador. Exige conjuntos de dados multimodais emparelhados onde a identidade do problema é preservada entre visualizações — algo que a maioria das corporações corporativas carece — e requer distilação de política com otimização de KL reverso, adicionando complexidade além do refinamento supervisionado padrão. Para equipes que consomem VLMs por meio de API, as descobertas sobre ordem de modalidade do estudo do arXiv de julho de 2025 implicam que até engenharia de prompt trivial, como colocar a imagem antes versus depois da consulta textual, pode alterar a precisão em pontos percentuais de dois dígitos; sem acesso ao peso do modelo, a única defesa é consulta redundante e um ambiente de avaliação que testa explicitamente por regressões dependentes de visualização. A falha subjacente é dependente de visualização, não de dificuldade, o que significa que os benchmarks de precisão existentes são cegados ao risco se eles testam apenas entradas de visualização única. O cenário de geometria também é um ambiente de teste controlado; se as melhorias do MIRROR se transferem para documentos do mundo real desordenados com sobreposição de texto e ruído visual é uma questão aberta.

A inconsistência intermodal deve ser tratada como um sinal de supervisão treinável, usando a visualização de modalidade mais forte em cada amostra como um professor de KL reverso para as mais fracas, em vez de descartá-la como um bug de robustez a ser engendrado por engenharia de prompt.