MATCHA Supera BERTScore em 20% na Detecção de Contradições Semânticas

A Universidade de Tübingen introduziu MATCHA, uma métrica de avaliação automática que supera ROUGE-L em 18,38% e BERTScore em 20,82% em precisão de correspondência no benchmark zero-shot TruthfulQA. Ao contrário das métricas tradicionais, MATCHA se concentra na correlação com o julgamento humano e não nas diferenças de pontuação bruta. Identifica contradições semânticas que as métricas atuais frequentemente perdem, como demonstrado em um artigo arXiv onde BERTScore atribui pontuações de 82,00 a um resumo correto e 77,20 à sua contradição direta, uma diferença de 4,80 pontos, com margens discriminativas normalizadas (NΔ) tão estreitas quanto 3,44 no MultiNLI e 2,51 no TruthfulQA. MATCHA, no entanto, penaliza explicitamente as contradições por meio de um objetivo contrastivo.

MATCHA é construída em uma arquitetura contrastiva que inclui ContrastiveModel, SenseNetwork, NoMixBlock e componentes MLP. É treinada com perda de margem de triplos na semelhança cosine em 15 fontes de dados, conforme especificado no arquivo configs/mixed.json do repositório, usando HuggingFace Accelerate. A métrica opera por meio de um mecanismo de visualização dupla, medindo a proximidade com uma referência de ouro e a distância de uma contradição contrafactual gerada de forma adversária. O lançamento de código aberto inclui três scripts de treinamento e ferramentas de avaliação para vários benchmarks, com atribuição em nível de token fornecida via Captum's Integrated Gradients.

O artigo destaca o modo de falha das métricas baseadas em embedding, onde saídas semanticamente incorretas quase batem as pontuações das saídas corretas. A avaliação em oito benchmarks públicos mostra que a diferença entre correto e incorreto do BERTScore é mínima, e MATCHA supera todos os 23 modelos de embedding testados em sua comparação expandida no estilo BERTScore ao produzir a margem discriminativa mais ampla.

Enquanto não há evidências de implantação em produção, a necessidade de MATCHA de uma passagem de modelo treinado e geração de contrafactual emparelhada implica um maior impacto de serviço em comparação com a rápida semelhança cosine de embedding ou passagens de sobreposição de token. O repositório fornece scripts de treinamento e um relator eval_matcha.py, mas carece de pilha de serviço ou benchmarks de carga.

A integração de pipeline é desafiadora, pois a maioria das pilhas de avaliação de produção estão configuradas para BLEU, ROUGE ou semelhança cosine de embedding. Adotar MATCHA exigiria etapas adicionais, como gerenciar a formatação da entrada de triplos e, possivelmente, regenerar contradições contrafatoriais para domínios proprietários. A melhoria sobre ROUGE-L está na correlação com os julgamentos humanos, não na seleção do modelo downstream ou nas taxas de vitória de testes A/B, tornando o caso de negócios para extra computação dependente de se a detecção de contradições é um gargalo de avaliação atual.