Pré-treinamento de embeddings vence tamanho do modelo em 1.215 testes de matching de entidades

Um novo artigo de pesquisadores da University of Amsterdam, Amsterdam UMC e TU Berlin/BIFOLD executou 1.215 experimentos de fine-tuning para isolar o que impulsiona ganhos de desempenho em matching de entidades: arquitetura, backbone do modelo ou objetivo de pré-treinamento. Benchmarks anteriores confundiam todos os três.

O design fatorial testou três arquiteturas de matcher (bi-encoder, cross-encoder, generativo), três variantes Qwen3 com diferentes objetivos de pré-treinamento e três tamanhos de modelo em nove datasets. Cada combinação foi treinada e medida, eliminando a suposição padrão de que "modelo maior, melhores resultados."

Para equipes executando bi-encoders em produção, o objetivo de pré-treinamento importa mais que o tamanho do modelo. Variantes Qwen3 orientadas a embeddings entregam inicialização mais forte e geometria de representação favorável. Trocar para uma variante base ou instruction-tuned degrada a precisão mensuravelmente, mesmo com contagens de parâmetros maiores. Equipes que fazem fine-tuning de encoders sentence-transformer em dados de domínio devem selecionar o objetivo de pré-treinamento deliberadamente.

Cross-encoders consistentemente superam bi-encoders porque codificam jointamente o par de registros em vez de incorporar cada um independentemente. Atenção conjunta captura diferenças sutis em nível de campo que bi-encoders perdem ao comprimir cada registro em um único vetor. Variantes Qwen3 maiores reduzem o gap parcialmente mas não o fecham. Isto reflete um trade-off difícil de latência/precisão: inferência de cross-encoder no tempo de query é mais lenta, mas a vantagem de precisão é arquitetural—não é endereçável apenas escalando o bi-encoder.

Matchers generativos não superam universalmente cross-encoders. Praticantes que padrão em LLM-as-judge ou prompts GPT-4 frequentemente assumem o contrário. Sua vantagem se concentra estreitamente em distribution shift: quando esquemas de registro divergem dos dados de treinamento ou em cross-dataset transfer. Para matching in-distribution em esquemas fixos, matchers generativos carregam custo computacional mais alto sem ganho de precisão. Eles resolvem a cauda bagunçada, não o caso padrão.

Modelos maiores dependem mais pesadamente de shortcut learning—correlações superficiais nos dados de treinamento—e não melhoram confiavelmente o desempenho de matching. Para pipelines com pequenos conjuntos de treinamento ou cobertura de esquema desigual, escalabilidade se reverte: produz matchers overconfident que falham em duplicatas sutis.

Código, scripts de treinamento, dados de avaliação e todos os resultados de 1.215 execuções estão disponíveis em github.com/Jantory/llm-trained-matcher, tornando os resultados diretamente reproduzíveis contra seus próprios datasets.

Para matching fixed-schema, in-distribution, um cross-encoder com backbone pré-treinado em embeddings é o padrão defensável. Matchers generativos são ferramentas direcionadas para cenários cross-schema e transfer. Escalar o tamanho do modelo não é um substituto para selecionar a variante de pré-treinamento correta.