Investigadores de Mila y Google han publicado Proteus, un mecanismo de planificación que mejora cómo los estados de memoria de tamaño fijo manejan contextos largos en modelos recurrentes. El trabajo reúne a Reza Bayat y Aaron Courville de Mila con Ali Behrouz y Vahab Mirrokni de Google—coautores de las arquitecturas Titans y Hope-Attention que Proteus modifica.

El costo O(n²) de la atención ha impulsado la adopción de modelos recurrentes con estados ocultos fijos donde el costo por token permanece constante y el cálculo total se escala linealmente. Pero persiste un problema estructural: los tokens iniciales llegan a un estado casi vacío y no enfrentan presión de compresión. Monopolizan grados de libertad. Los tokens posteriores—aquellos que importan en tareas de contexto largo como recuperación sobre 100k documentos o memoria de agente—compiten por lo que queda y se sobrescriben. La memoria se sesga hacia el inicio de la secuencia.

Proteus planifica la capacidad dividiendo la memoria en bloques que se desbloquean progresivamente conforme crece la secuencia. En cada posición, el modelo lee y escribe solo en bloques actualmente activados y en bloques previamente activados. La compresión inicial ocurre agresivamente. Conforme se alarga el contexto, nuevos bloques se desbloquean con capacidad fresca, preservando resúmenes anteriores. El enfoque no añade parámetros ni FLOPs adicionales.

Las pruebas en cuatro arquitecturas—SWLA (Sliding Window Linear Attention), Comba, Titans y Hope-Attention—mostraron mejoras consistentes en perplejidad de modelado de lenguaje, razonamiento de sentido común, recuperación de contexto largo y comprensión de documentos. Los beneficios se escalan con la longitud del contexto. Las cargas de trabajo de producción se benefician más cuando los casos costosos son más comunes.

La inferencia de contexto largo hoy enfrenta límites difíciles. Con contexto de 32K, Llama 3.1 8B en FP16 requiere 4.0 GB de caché KV. Con contexto de 128K, eso alcanza 16.0 GB. El escalado lineal sugiere que 1 millón de tokens necesitaría aproximadamente 122 GB—mucho más allá de una sola GPU de 80 GB. Las alternativas recurrentes evitan completamente el crecimiento de caché KV, pero históricamente han tenido un rendimiento inferior en tareas intensivas en recuperación debido a la contaminación de tokens iniciales. Un mecanismo que mejora la calidad de recuperación sin costo computacional apela a cualquiera que considere cambiar de servicios basados en atención.

El artículo aún no ofrece una versión de código. Los números de referencia aparecen en el propio artículo de Proteus, que reporta ganancias consistentes en las cuatro arquitecturas probadas. La idea principal—que la asignación estática de memoria es subóptima y la planificación de activación de bloques funciona ampliamente—puede integrarse en cualquier línea de base recurrente ya en producción.

Si su pila de inferencia ejecuta SWLA, Comba, Titans u Hope-Attention en cargas de trabajo de contexto más largo, Proteus es un modificador de costo cero que vale la pena probar antes de agregar memoria u hardware.