PRECOG Reduz Latência de RAG 4500× em Hardware SSM de Borda

Um artigo publicado segunda-feira por pesquisadores do USC Information Sciences Institute descreve um mecanismo de recuperação que reduz a latência de prefill de RAG de ~27 segundos para menos de 6 milissegundos em hardware de borda—uma redução de ~4500×—sem sacrificar a qualidade das respostas. A limitação: funciona apenas em State-Space Models.

O sistema é chamado PRECOG (Pre-Computed Context Injection). O insight central é arquitetural. SSMs mantêm um estado recorrente oculto de tamanho fixo, agnóstico de posição—um resumo comprimido de tudo que o modelo leu. Os KV-caches do Transformer são acoplados a posição e crescem linearmente com o comprimento do contexto, impossibilitando pré-computação equivalente. PRECOG codifica um corpus de documentos inteiro offline como uma biblioteca de estados ocultos de SSM. No tempo de consulta, o estado com melhor correspondência é buscado e injetado diretamente no modelo, contornando a re-ingestão em contexto. A complexidade de prefill cai de O(L_context) para O(1) por consulta.

A demonstração roda em TENN-LLM: um SSM gated de 1.2B-parâmetros com estado oculto de 192 KB. Esses 192 KB são toda a memória de trabalho que o modelo carrega—pequeno o suficiente para caber na SRAM rápida on-device, grande o suficiente para codificar resumos de documentos. RAG padrão requer que o modelo leia o chunk recuperado token-por-token no tempo de consulta, o que explica a latência de ~27 segundos. PRECOG remove essa etapa. O artigo relata que PRECOG se iguala ao RAG em contexto em benchmarks de qualidade de resposta, portanto a troca é puramente latência, não fidelidade.

A mesma primitiva de injeção de estado habilita uma segunda contribuição: SMC (Structured Memory Consolidation). SMC implementa memória persistente hierárquica com clustering de domínio cognitivo. Estados ocultos episódicos de curto prazo consolidam-se em memória semântica de longo prazo, e ambos se fundem com estados de corpus recuperados no tempo de consulta. A inicialização de sessão é O(1). Arquitetos podem trocar taxa de compressão por qualidade de recall dependendo se o deployment está restrito a SRAM ou restrito a latência.

O cenário de deployment é concreto: um agente de borda executado localmente onde um prefill de RAG de 27 segundos torna o sistema não-interativo. Menos de 6 ms ultrapassa o limiar para uso conversacional. A escala de 1.2B se ajusta a hardware de classe Raspberry Pi e SoCs automotivos. Para equipes que enviam assistentes de voz, loops de raciocínio robótico, ou agentes on-device que preservam privacidade, PRECOG fecha essa lacuna.

A restrição difícil é o requisito de SSM. A injeção O(1) de PRECOG depende de estados ocultos agnósticos de posição—uma propriedade que Transformers estruturalmente carecem. Equipes executando Mamba, RWKV, ou modelos da família TENN podem adotar PRECOG sem mudanças arquiteturais. Equipes com backbones Transformer (LLaMA, Mistral, Gemma) não podem usá-lo diretamente; para eles, PRECOG é um benchmark para avaliar se uma migração para SSM faz sentido para sua carga de trabalho de borda.

A etapa de codificação de corpus offline adiciona overhead de pré-processamento que o artigo não quantifica completamente. Em escala de produção—um corpus que atualiza frequentemente ou é específico do usuário—a questão de engenharia é quão barato esses estados ocultos podem ser regenerados e indexados. A memória entre sessões do SMC também eleva a complexidade de gerenciamento de estado: agentes devem serializar, versionar, e seletivamente descarregar estados ocultos entre sessões, o que é não-trivial em deployments multi-usuário.

Se sua pilha de inferência já é nativa para SSM, PRECOG é o fix de prefill que você implementa. Se não, o número 4500× é o benchmark a bater.