Co-LMLM de Cornell empareja a GPT-4o-Mini al almacenar hechos en una base de datos

El Co-LMLM de Cornell, un modelo de lenguaje de memoria limitada de consultas continuas de 360M parámetros, logra una menor perplexidad que transformadores sin procesar entrenados con 40 veces más datos y obtiene puntajes en SimpleQA en línea con GPT-4o-mini y Claude Sonnet 4.5, no al empaquetar hechos en pesos, sino al externalizarlos a una base de conocimiento de claves continuas durante la pre-entrenamiento. La arquitectura reemplaza las búsquedas simbólicas y relacionales de los modelos de lenguaje de memoria limitada anteriores con consultas de vectores flexibles sobre una base de datos de aproximadamente 54.6 millones de tripletas de conocimiento textual, evitando que el modelo memorice tokens de hechos que debe recuperar.

La pila comienza con un flujo de trabajo de anotación que marca intervalos factuales en corpus arbitrarios, no solo Wikipedia. Sobre el corpus de Wikipedia OLMo2 y FineWeb-Edu, que suman aproximadamente 3 mil millones de tokens, un semillero de GPT-4o destila un anotador de LLaMA-3.1-8B-Instruct, insertando tokens especiales `[dblookup('Entidad', 'Relación') -> Valor]` en secuencias de entrenamiento. Durante la pre-entrenamiento, los valores de conocimiento vinculados a esas búsquedas se enmascaran de la pérdida de entropía cruzada, por lo que el modelo de 360M aprende a predecir que se necesita un hecho y cómo consultarlo, pero nunca aprende a emitir el hecho desde los parámetros. En la inferencia, la clase personalizada de HuggingFace `LlamaForLMLM` genera de forma autoregressiva hasta que produce un token de búsqueda; un índice de FAISS luego recupera la clave continua más cercana a través de similitudes de coseno sobre `all-MiniLM-L6-v2` embeddings, utilizando un umbral de coincidencia de 0.6. El valor de texto legible por humanos recuperado se concatena nuevamente en el contexto y se procede con la generación.

Operativamente, el conocimiento vive en la KB en lugar de los pesos, lo que permite correcciones o eliminaciones con ediciones simples de base de datos, sin reentrenamiento, sin riesgo de olvido catastrófico de hechos adyacentes y sin artefactos de desaprendizaje de estilo NPO. El modelo LMLM de 382M parámetros anterior ya emparejaba a LLaMA2-7B en benchmarks de precisión de hechos como FactScore y T-REx, y Co-LMLM extiende esto a texto no formal, no de Wikipedia, manteniendo los resultados de recuperación completamente atribuibles.

Las barreras para la producción son significativas y específicas. El flujo de trabajo de anotación en sí requiere llamadas de API de GPT-4o seguidas de una ejecución de dos días en 64 GPUs A6000 para procesar solo 3 mil millones de tokens, convirtiendo la construcción del conjunto de datos en un paso capital-intensive que debe repetirse para cada nuevo dominio. La calidad de recuperación está limitada por el modelo de incrustación `all-MiniLM-L6-v2` y la cobertura del anotador; el papel de arXiv deja abierta la conducta de reserva cuando la búsqueda de FAISS no devuelve ninguna coincidencia por encima del umbral de 0.6, un modo de fallo que el conocimiento paramétrico estándar de RAG generalmente absorbe a través del modelo base que aún retiene. Lo más crítico es que Co-LMLM requiere pre-entrenamiento desde cero con la receta de LMLM; no es una afinación, adaptador o envoltura de recuperación post-hoc. Todas las pruebas también están limitadas a la escala de 360M-382M, por lo que la afirmación de eficiencia de datos de 40 veces y el costo de latencia de generación y recuperación entrelazadas permanecen sin probar en la escala de 7B parámetros donde la mayoría de los servicios de producción operan.

Para arquitectos que construyen bajo GDPR, requisitos de corrección de hechos regulados o desaprendizaje rápido, el patrón para robar es hornear tokens de recuperación en la pre-entrenamiento en sí, para que el modelo esté estructuralmente incapaz de memorizar lo que más tarde pueda ser forzado a olvidar.