El Pesaje de Timesteps Reduce el Costo de Consultas al Modelo de Recompensa para RLHF de Difusión

Un reciente artículo de la Universidad Carnegie Mellon y la Universidad de Maryland, titulado *Selección de Timesteps y Reproducción Basada en Ventajas para RLHF de Difusión Eficiente en Muestras*, informa de una mejora de seis veces en eficiencia de muestras para RLHF de difusión al reponderar los tiempos de denoising y reproducir trayectorias de alta ventaja. Esto podría reducir significativamente los costos de consultas al modelo de recompensa para equipos que trabajan con Stable Diffusion, SDXL o FLUX. El artículo trata a los pipelines de estilo DDPO existentes como un aumento de drop-in en lugar de una arquitectura de reemplazo.

La intervención aborda un fallo de asignación de crédito en el DDPO estándar, que trata la generación de imágenes como un Proceso de Decisión de Markov y retropropaga la recompensa de la imagen final uniformemente en cada paso de denoising. Dado que el feedback humano o del modelo de recompensa solo está disponible en la salida completamente desnoiseada, los tiempos tempranos y tardíos reciben pesos de pérdida idénticos, diluyendo los gradientes. Los autores corrigen esto al reponderar cada tiempo durante la optimización de la política por la magnitud al cuadrado del cambio latente por tiempo, utilizando esto como un proxy para la varianza de la ventaja del error TD. Además, mantienen un buffer de reproducción basado en ventajas que mina duramente las trayectorias muestreadas históricamente con las mayores ventajas, permitiendo que el modelo aprenda de los lanzamientos pasados en lugar de generar continuamente nuevos y consultar el modelo de recompensa. Ambas modificaciones se integran dentro del optimizador de políticas; el horario de inferencia permanece sin cambios.

Los autores informan que su método alcanza y luego supera las líneas base de DDPO y variantes de GRPO utilizando una sexta parte de las muestras bajo hiperparámetros idénticos, resultando en una reducción aproximada del 83 por ciento en evaluaciones del modelo de recompensa. La generalización a prompts no vistos se preserva, indicando que la ganancia de eficiencia no se hace al costo de sobreajustar la distribución de entrenamiento. Para equipos de producción, el atractivo radica en el lado económico del entrenamiento: no se requiere cirugía del modelo, no hay latencia adicional de inferencia y no se requiere ajuste de hiperparámetros.

El artículo es un preimpreso sin código vinculado públicamente, y la evaluación no informa el tiempo de funcionamiento en la pared, horas de GPU o costos en dólares; solo cuentas de muestras en comparación con líneas base académicas. La heurística de latente al cuadrado es una aproximación de la verdadera cantidad de importancia de tiempo, y el artículo deja sin cuantificar la brecha de aproximación. La introducción de un buffer de reproducción introduce una sobrecarga de memoria y efectos potenciales de gradientes obsoletos que no se caracterizan. Estas brechas importan porque la literatura más ampla de difusión-RLHF documenta patologías persistentes, incluyendo trayectorias inestables, hacking de recompensas y tiempos de inferencia largos, que el pesaje de tiempos por sí solo no resuelve.