Pesquisadores da TU Darmstadt e UKP Lab publicaram OctoLong, um pipeline de engenharia de contexto que resolve um ponto cego em dados de treinamento com contexto longo: corpora de código quase nunca capturam cadeias de dependências entre repositórios. Lançado em 5 de agosto, o artigo apresenta uma pilha de três ferramentas—parser AST, backend servidor de linguagem e gerenciador de pacotes—que percorre recursivamente grafos de importação e referências de símbolos para montar contextos de treinamento com milhões de tokens.
Corpora tradicionais com contexto longo dependem de livros, artigos acadêmicos e despejos de código de repositórios únicos. Nenhum contém a lógica entre módulos e entre pacotes que agentes de código encontram em produção. Quando uma chamada de função passa por quatro bibliotecas upstream, agentes devem resolver essa lógica por completo. O pipeline do OctoLong faz isso: começa a partir de um símbolo de ponto de entrada, percorre o grafo de referências do servidor de linguagem, puxa pacotes importados transitivamente e repete recursivamente até que o orçamento de contexto seja atingido.
A mistura de treinamento resultante totaliza aproximadamente 50B tokens. Contextos entre repositórios específicos do OctoLong representam 6.2B tokens—12% do total. A suite de modelos OctoLong-Instruct é treinada nessa mistura via extensão de contexto mid-training, depois fine-tuned com ~10B tokens de dados de instrução. Os modelos variam de 600M a 14B parâmetros, tornando os ganhos reproduzíveis em diferentes orçamentos de inferência em vez de confinados a checkpoints em escala frontier.
Avaliações em 18 LMs de contexto longo open-weight mostram que substituir 12% do corpus de treinamento com dados OctoLong melhora recuperação de longa distância, rastreamento de estado de longo prazo, compreensão de código em nível de repositório e desempenho de tarefas agentic. A precisão de uso de API em cenários de codificação sem contexto longo também melhora, sugerindo que o sinal de treinamento entre repositórios generaliza em vez de se sobreadjustar para recall tipo agulha-no-palheiro.
OctoLong não é proprietário. A metodologia orquestra ferramentas padrão de desenvolvedor. Qualquer equipe com acesso a um servidor de linguagem (Pyright, rust-analyzer, clangd) e um gerenciador de pacotes pode replicar o pipeline contra seus próprios repositórios de código. Isso importa para profissionais que fazem fine-tuning de agentes de código específicos de domínio—equipes de infraestrutura financeira, engenheiros de compiladores, desenvolvedores de sistemas embarcados—que precisam de estruturas de dependências representativas de suas próprias stacks.
Dois limites merecem atenção. Primeiro, os contextos atingem milhões de tokens durante curagem, mas o artigo não detalha completamente os comprimentos nos quais os modelos treinados são avaliados; equipes de produção devem fazer benchmark com comprimentos de contexto de implantação real. Segundo, a recuperação recursiva de referências assume um servidor de linguagem configurado corretamente, um requisito não trivial para repositórios poliglotas ou codebases legadas com informações de tipo incompletas.
Para equipes planejando fine-tuning de extensão de contexto de agentes de codificação em nível de repositório: taxa de substituição de dados é o mecanismo. Substituir 12% de uma mistura de 50B tokens com cadeias entre repositórios construídas com AST/servidor-de-linguagem impulsiona os ganhos. O pipeline é metodologia aberta; o custo é infraestrutura de servidor de linguagem, não uma licença proprietária.