Co-LMLM da Cornell empata GPT-4o-Mini armazenando fatos em um banco de dados

O Co-LMLM da Cornell, um modelo de linguagem de memória limitada de consulta contínua com 360M de parâmetros, alcança menor perplexidade do que transformadores puros treinados em 40× mais dados e pontua no SimpleQA em linha com o GPT-4o-mini e o Claude Sonnet 4.5, não empacotando fatos em pesos, mas externalizando-os para uma base de conhecimento de chave contínua durante a pré-treinamento. A arquitetura substitui as pesquisas simbólicas e relacionais dos modelos de linguagem de memória limitada anteriores por consultas de vetor flexíveis sobre um banco de dados de cerca de 54,6 milhões de tripletos de conhecimento textual, evitando que o modelo memorize tokens fatoriais que ele deve recuperar.

A pilha começa com um pipeline de anotação marcando faixas fatoriais em corpora arbitrários, não apenas a Wikipedia. Sobre o corpus OLMo2 da Wikipedia e FineWeb-Edu — cerca de 3 bilhões de tokens no total — um semente GPT-4o distila um anotador LLaMA-3.1-8B-Instruct, inserindo tokens especiais `[dblookup('Entidade', 'Relacionamento') -> Valor]` nas sequências de treinamento. Durante a pré-treinamento, os valores de conhecimento associados a essas pesquisas são mascarados da perda de entropia cruzada, então o modelo de 360M aprende a prever que um fato é necessário e como pesquisar por ele, mas nunca aprende a emitir o fato a partir dos parâmetros. Na inferência, a classe personalizada HuggingFace `LlamaForLMLM` gera de forma auto-regressiva até que produza um token de pesquisa; um índice FAISS então recupera a chave contínua mais próxima por meio de similaridade cosine sobre `all-MiniLM-L6-v2` embeddings, usando um limite de correspondência de 0,6. O valor de texto legível por humanos recuperado é concatenado de volta ao contexto e a geração prossegue.

Operacionalmente, o conhecimento reside na KB e não nos pesos, permitindo correções ou exclusões com edições simples de banco de dados — sem re-treinamento, sem risco de esquecimento catastrófico de fatos adjacentes e sem artefatos de desaprendizado do estilo NPO. O anterior modelo LMLM de 382M de parâmetros já empatou com o LLaMA2-7B em benchmarks de precisão factual como FactScore e T-REx, e o Co-LMLM estende isso para texto não-Wikipédia e de forma livre enquanto mantém os resultados de recuperação totalmente atribuíveis.

As barreiras à produção são significativas e específicas. O pipeline de anotação por si só exige chamadas de API GPT-4o seguido de uma execução de dois dias em 64 GPUs A6000 para processar apenas 3 bilhões de tokens, tornando a construção do conjunto de dados um passo capital-intensivo que deve ser repetido para cada novo domínio. A qualidade da recuperação é limitada pelo modelo de embedding `all-MiniLM-L6-v2` e pela cobertura do anotador; o artigo arXiv deixa aberta a conduta de fallback quando a pesquisa FAISS não retorna nenhuma correspondência acima do limite de 0,6, um modo de falha que o RAG padrão geralmente absorve via conhecimento paramétrico que o modelo base ainda retém. Mais criticamente, o Co-LMLM requer pré-treinamento a partir do zero com a receita LMLM; não é um ajuste fino, adaptador ou wrapper de recuperação pós-hoc. Todos os experimentos também são limitados à escala de 360M-382M, então a alegação de eficiência de dados 40× e o custo de latência da geração intercalada e recuperação permanecem não comprovados na escala de 7B de parâmetros onde a maioria dos serviços de produção opera.

Para arquitetos que constroem sob GDPR, requisitos regulatórios de correção de fatos ou desaprendizado rápido, o padrão para roubar é a incorporação de tokens de recuperação na própria pré-treinamento para que o modelo esteja estruturalmente incapaz de memorizar o que pode ser forçado a esquecer mais tarde.