Pesquisadores da Mila e Google publicaram Proteus, um mecanismo de agendamento que melhora como estados de memória de tamanho fixo lidam com contextos longos em modelos recorrentes. O trabalho reúne Reza Bayat e Aaron Courville da Mila com Ali Behrouz e Vahab Mirrokni do Google—coautores das arquiteturas Titans e Hope-Attention que Proteus modifica.

O custo O(n²) da atenção impulsionou a adoção de modelos recorrentes com estados ocultos fixos onde o custo por token permanece constante e o total de cálculos escala linearmente. Mas um problema estrutural persiste: tokens iniciais chegam a um estado quase vazio e não enfrentam pressão de compressão. Eles monopolizam graus de liberdade. Tokens posteriores—aqueles que importam em tarefas de contexto longo como recuperação sobre 100k documentos ou memória de agente—competem pelo que resta e são sobrescritos. A memória fica enviesada para o início da sequência.

Proteus agenda a capacidade dividindo a memória em blocos que se desbloqueiam progressivamente conforme a sequência cresce. Em cada posição, o modelo lê e escreve apenas em blocos atualmente ativados e em blocos previamente ativados. Compressão inicial ocorre agressivamente. Conforme o contexto se alonga, novos blocos se desbloqueiam com capacidade fresca, preservando resumos anteriores. A abordagem não adiciona parâmetros nem FLOPs adicionais.

Testes em quatro arquiteturas—SWLA (Sliding Window Linear Attention), Comba, Titans e Hope-Attention—mostraram melhorias consistentes em perplexidade de modelagem de linguagem, raciocínio senso comum, recuperação de contexto longo e compreensão de documentos. Os benefícios escalam com a duração do contexto. Cargas de trabalho de produção se beneficiam mais quando os casos caros são mais comuns.

Inferência de contexto longo hoje atinge limites rígidos. Com contexto de 32K, Llama 3.1 8B em FP16 requer 4.0 GB de cache KV. Com contexto de 128K, isso atinge 16.0 GB. Escalonamento linear sugere que 1 milhão de tokens precisaria de aproximadamente 122 GB—bem além de uma única GPU de 80 GB. Alternativas recorrentes evitam crescimento de cache KV inteiramente, mas historicamente tiveram desempenho inferior em tarefas intensivas em recuperação devido à poluição de token inicial. Um mecanismo que melhora a qualidade de recuperação com zero custo computacional atrai qualquer um pesando uma mudança longe da serviços baseados em atenção.

O artigo ainda não oferece lançamento de código. Números de benchmark aparecem no próprio artigo Proteus, que relata ganhos consistentes em todas as quatro arquiteturas testadas. O insight principal—que alocação estática de memória é subótima e que agendamento de ativação de bloco funciona amplamente—pode se integrar em qualquer linha de base recorrente já em produção.

Se sua pilha de inferência executa SWLA, Comba, Titans ou Hope-Attention em cargas de trabalho de contexto mais longo, Proteus é um modificador de custo zero que vale a pena testar antes de adicionar memória ou hardware.