El preentrenamiento de embeddings vence al tamaño del modelo en 1.215 pruebas de matching de entidades

Un nuevo artículo de investigadores de la University of Amsterdam, Amsterdam UMC y TU Berlin/BIFOLD ejecutó 1.215 experimentos de fine-tuning para aislar qué impulsa los ganancias de desempeño en matching de entidades: arquitectura, backbone del modelo u objetivo de preentrenamiento. Los benchmarks anteriores confundían los tres.

El diseño factorial probó tres arquitecturas de matcher (bi-encoder, cross-encoder, generativo), tres variantes Qwen3 con diferentes objetivos de preentrenamiento y tres tamaños de modelo en nueve datasets. Cada combinación fue entrenada y medida, eliminando la suposición por defecto de que "modelo más grande, mejores resultados."

Para equipos ejecutando bi-encoders en producción, el objetivo de preentrenamiento importa más que el tamaño del modelo. Las variantes Qwen3 orientadas a embeddings ofrecen una inicialización más fuerte y una geometría de representación favorable. Cambiar a una variante base o instruction-tuned degrada la precisión mediblemente, incluso con recuentos de parámetros más grandes. Los equipos que hacen fine-tuning de codificadores sentence-transformer en datos de dominio deben seleccionar el objetivo de preentrenamiento deliberadamente.

Los cross-encoders superan consistentemente a los bi-encoders porque codifican conjuntamente el par de registros en lugar de incorporar cada uno de forma independiente. La atención conjunta captura diferencias sutiles a nivel de campo que los bi-encoders pierden al comprimir cada registro en un único vector. Las variantes Qwen3 más grandes reducen la brecha parcialmente pero no la cierran. Esto refleja un difícil trade-off de latencia/precisión: la inferencia de cross-encoder en tiempo de consulta es más lenta, pero la ventaja de precisión es arquitectónica—no es abordable simplemente escalando el bi-encoder.

Los matchers generativos no superan universalmente a los cross-encoders. Los practicantes que optan por defecto por LLM-as-judge o prompts GPT-4 a menudo asumen lo contrario. Su ventaja se concentra estrechamente en distribution shift: cuando los esquemas de registro divergen de los datos de entrenamiento o en transferencia cross-dataset. Para matching in-distribution en esquemas fijos, los matchers generativos conllevan un costo computacional más alto sin ganancia de precisión. Resuelven la cola problemática, no el caso por defecto.

Los modelos más grandes se basan más fuertemente en shortcut learning—correlaciones superficiales en los datos de entrenamiento—y no mejoran confiablemente el desempeño del matching. Para pipelines con conjuntos de entrenamiento pequeños o cobertura de esquema desigual, escalar genera un efecto contraproducente: produce matchers sobreconfiados que fallan en duplicados sutiles.

El código, scripts de entrenamiento, datos de evaluación y todos los resultados de 1.215 ejecuciones están disponibles en github.com/Jantory/llm-trained-matcher, lo que hace que los resultados sean directamente reproducibles contra sus propios datasets.

Para matching fixed-schema, in-distribution, un cross-encoder con backbone preentrenado en embeddings es el estándar defendible. Los matchers generativos son herramientas dirigidas para escenarios cross-schema y transfer. Escalar el tamaño del modelo no es un sustituto para seleccionar la variante de preentrenamiento correcta.