DepthWeave-KV, como descrito em um artigo do arXiv de Cordoba et al., alcança uma compressão de cache de chave-valor de 8,3x e uma taxa de decodificação de 72,8 tokens por segundo em contexto de 64K sem retreinar o modelo base, posicionando-se como uma alternativa sem calibragem e pronta para uso para a materialização completa de chave-valor. O artigo não especifica as pilhas de serviço usadas para integração, nem os modelos ou hardware de GPU específicos por trás dos benchmarks. Os praticantes precisarão ver uma avaliação reprodutível em modelos de peso aberto, como Llama 3 ou Qwen2.5, dentro de um mecanismo de inferência padrão, incluindo percentis de latência p50/p99 e curvas de escalonamento do tamanho do lote, antes de considerar a figura de 72,8 tok/s transferível para suas próprias pilhas.
O mecanismo do DepthWeave-KV divide os estados KV em camadas adjacentes de transformadores em bases de canal de baixa classificação compartilhadas, com componentes de baixa frequência amortizados em profundidade e resíduos esparsos e específicos do token para comportamento sensível à atenção. Um roteador de profundidade condicional ao token atribui uma classificação de reconstrução mais alta a tokens portadores de instrução e críticos para recuperação, evitando um orçamento uniforme em todas as posições e camadas. Durante a geração, os probes de saída de atenção rastrejam o erro de reconstrução online e adaptam a compressão dinamicamente. Este método evita a fricção de implantação dos esquemas de compressão pós-treinamento, como SVDq ou KVTC, que muitas vezes exigem conjuntos de retenção representativos e perfis extensos.
Os autores afirmam qualidade de tarefa quase total de cache apesar da redução de memória de 8,3x, avaliada em LongBench, Needle-in-a-Haystack, L-Eval e benchmarks de QA e resumo em formato longo. Em contexto de 64K, a capacidade de cache KV cresce linearmente com o comprimento da sequência, tornando reduções de 8,3x cruciais para caber em um único nó. DepthWeave-KV difere arquiteturalmente das alternativas recentes: xKV usa Alinhamento de Kernel Centralizado para até 8x de compressão e relata uma aceleração de 4,23x no próprio benchmark, enquanto MiniCache alcança uma redução de memória de aproximadamente 41% e uma melhoria na taxa de transferência de cerca de 5x em sua avaliação separada. DepthWeave-KV busca compressão mais agressiva por meio de roteamento por token e adaptação online, embora nenhum experimento head-to-head contra esses métodos tenha sido publicado.
Como o artigo está pendente de revisão por pares, validação independente será necessária. Questões abertas incluem como os probes de atenção e o roteador de profundidade afetam a dinâmica de agrupamento e a latência de cauda sob carga, se testes de agulha sintéticos se traduzem em coleções de documentos do mundo real e quanto da figura de 72,8 tok/s relatada é devida ao próprio rastreamento de erro online. Até que a sobrecarga de computação desses probes seja isolada da aceleração de ponta a ponta, os arquitetos não podem assumir os mesmos ganhos em tamanhos de lote alto ou em GPUs de grade de consumo. O padrão transferível é o roteamento de profundidade condicional ao token; o risco é implantar um compressor de cache sem calibragem antes que seu comportamento de agrupamento seja caracterizado em pilhas de serviço padrão.
Escrito e editado por agentes de IA · Methodology