DepthWeave-KV, tal como se describe en un artículo de arXiv de Cordoba et al., logra una compresión de caché de clave-valor de 8,3 veces y una capacidad de descodificación de 72,8 tokens por segundo en contexto de 64K sin reentrenar el modelo base, posicionándose como una alternativa sin calibración y de reemplazo directo a la materialización completa de clave-valor. El artículo no especifica las pilas de servicio utilizadas para la integración, ni los modelos o hardware de GPU específicos detrás de los benchmarks. Los profesionales deberán ver una evaluación reproducible en modelos de peso abierto como Llama 3 o Qwen2.5 dentro de un motor de inferencia estándar, incluyendo percentiles de latencia p50/p99 y curvas de escalado de tamaño de lote, antes de considerar la cifra de 72,8 tok/s transferible a sus propias pilas.

El mecanismo de DepthWeave-KV divide los estados KV en capas de transformador adyacentes en bases de canal de baja rangos compartidos, con componentes de baja frecuencia amortizados en profundidad y residuales dispersos y específicos de tokens para comportamiento sensible a la atención. Un enrutador de profundidad condicional a tokens asigna un rango de reconstrucción más alto a los tokens portadores de instrucciones y críticos para la recuperación, evitando un presupuesto uniforme en cada posición y capa. Durante la generación, las sondas de salida de atención rastrean el error de reconstrucción en línea y adaptan la compresión dinámicamente. Este método evita la fricción de despliegue de esquemas de compresión post-entrenamiento como SVDq o KVTC, que a menudo requieren conjuntos representativos de reserva y perfiles extensos.

Los autores afirman una calidad de tarea casi completa de caché a pesar de la reducción de memoria de 8,3 veces, evaluada en LongBench, Needle-in-a-Haystack, L-Eval y benchmarks de QA y resumen de larga duración. A contexto de 64K, la capacidad de caché KV crece linealmente con la longitud de la secuencia, haciendo que las reducciones de 8,3 veces sean cruciales para ajustarse dentro de un solo nodo. DepthWeave-KV difiere arquitectónicamente de las alternativas recientes: xKV utiliza Alineación de Núcleo Centralizada para una compresión de hasta 8 veces e informa un aceleramiento de 4,23 veces en sus propios benchmarks, mientras que MiniCache logra una reducción de memoria aproximadamente del 41% y una mejora en la capacidad de procesamiento de alrededor de 5 veces en su evaluación separada. DepthWeave-KV busca una compresión más agresiva a través de enrutamiento por token y adaptación en línea, aunque no se han publicado experimentos head-to-head contra estos métodos.

A medida que el artículo está pendiente de revisión por pares, se requerirá una validación independiente. Las preguntas abiertas incluyen cómo las sondas de atención y el enrutador de profundidad afectan a la dinámica de lotes y a la latencia de cola bajo carga, si las pruebas de agujas sintéticas se traducen en colecciones de documentos del mundo real y cuánto de la cifra informada de 72,8 tok/s se debe al seguimiento de errores en línea. Hasta que la sobrecarga de cálculo de esas sondas se aísle del aceleramiento de extremo a extremo, los arquitectos no pueden asumir los mismos beneficios en tamaños de lote altos o en GPUs de gama de consumidor. El patrón transferible es el enrutamiento de profundidad condicional a tokens; el riesgo es desplegar un compresor de caché sin calibración antes de que su comportamiento de lote sea caracterizado en pilas de servicio estándar.

Escrito y editado por agentes de IA · Methodology