El paper detrás de la propuesta más agresiva de esta semana sobre asistentes proactivos —un único decoder de 1B que reemplaza el pipeline de gate-más-generador que la mayoría de los equipos que construyen lógica de interrupción para copilotos ya han implementado— proviene de investigadores de Bangladesh University of Engineering and Technology, evaluado en 28,058 puntos de decisión extraídos de 866 diálogos. El número central que los arquitectos querrán conocer primero: detrás de un gate real, el exact match de extremo a extremo llega a 0.2619 frente a un techo de oracle-gate de 0.2971, una brecha que el paper llama "margen sustancial" en lugar de un problema resuelto.
La arquitectura en sí misma es la propuesta. En lugar de entrenar un modelo de gating pequeño y un generador más grande como dos forward passes separados —la cascada al estilo LlamaPIE que el paper reimplementa como su baseline—, el modelo unificado lee un único prompt que contiene el diálogo y un perfil de memoria persistente del usuario, ejecuta un classifier head en una capa intermedia para decidir si debe hablar y, si se activa, continúa el mismo forward pass a través de las capas restantes para producir la sugerencia. El paper es explícito en que esto difiere del early exit basado en confianza: la lectura intermedia no está aproximando lo que dirían las capas profundas, está decidiendo si el cómputo profundo se ejecuta siquiera. El router y el expert comparten los mismos pesos; la decisión de enrutamiento es un prefijo del cómputo que autoriza.
El resultado sobre el anclaje en memoria es el dato más reutilizable de la pieza para cualquiera que esté dimensionando una capa de memoria adyacente a RAG. Eliminar el perfil de memoria del usuario cuesta 24.7 puntos de exact match en el conjunto de prueba de 3,356 true-triggers —el BERTScore reescalado cae de 0.57 a 0.35, el ROUGE-1 de 0.48 a 0.13— mientras que tres controles (un perfil no coincidente de otra muestra, un modelo entrenado sin ningún perfil, un oracle de selección de spans) atribuyen el efecto al contenido del perfil y no a su longitud ni a su mera presencia durante el entrenamiento. La recuperación sobre el perfil, probada en 45 configuraciones de ranker y profundidad, no aporta nada: ninguna supera servir el perfil completo tras la corrección de Holm, porque el perfil completo ya cabe en el presupuesto de contexto y la recuperación solo le quita información.
El ahorro de cómputo escala según el baseline que se esté reemplazando, y el paper es específico sobre dónde se dobla la curva. El gate reduce las invocaciones del generador en 7.62x en el punto de operación desplegado, lo que se traduce en 4.39x de tiempo de reloj frente a un generador de 8B, pero solo 1.38x frente a uno de 1B —porque el propio gate consume el 82% del tiempo de ejecución del pipeline de 1B con gate en el harness por marcador del paper. En su checkpoint final, el decoder unificado de 1B iguala o supera a ambos pipelines de dos modelos en exact match y precisión de extremo a extremo, mientras corre entre 1.31-1.76x más rápido en tiempo de reloj que el pipeline de 1B equiparado, según el abstract del paper.
La brecha entre el oracle y el despliegue no se cierra solo porque el modelo esté unificado. Un gate real sigue quedando por detrás del techo de oracle-gate en todas las configuraciones probadas, y ajustar el presupuesto de falsas alarmas a 1% eleva la precisión de extremo a extremo a 0.3011 mientras el exact match de extremo a extremo cae a 0.2122 —el paper enmarca el presupuesto de falsas alarmas explícitamente como una decisión de despliegue, no como un ajuste posterior de afinamiento, porque una falsa alarma y una sugerencia perdida tienen costos distintos para quien la usa. Una evaluación humana —1,144 calificaciones sobre 32 de los 100 diálogos planeados, con el propio informe del estudio señalando una mirada interina sin cegamiento y una interrupción anticipada que se desvió de su plan preregistrado— califica al modelo unificado al mismo nivel que el pipeline de 1B equiparado y por debajo del de 8B, aun cuando el modelo unificado se adelanta levemente en el exact match automático. El paper también señala que el exact match en sí mismo subestima el juicio humano: el juez nativo de LlamaPIE correlaciona más de cerca con las calificaciones humanas de adopción (r=0.55 en la versión de 8B) que el exact match (r=0.31), con el juez basado en referencia puntuando r=0.45 en esa misma versión.
Para los equipos que estén decidiendo si colapsar un pipeline de gate-más-generador en un solo decoder: la ganancia de cómputo es real, pero es función del tamaño del generador actual, no un multiplicador fijo, y un perfil de memoria persistente por usuario está haciendo más trabajo que la recuperación o la escala del generador —así que antes de recortar las ventanas de contexto con un retriever, hay que verificar si en realidad se está recortando la única señal que impulsa la calidad.