AURORA-LM Iguala Modelos de Difusión Más Grandes con 1B Parámetros

AURORA-LM, un modelo de lenguaje de difusión latente continua desarrollado por un equipo que abarca la Nanyang Technological University y laboratorios afiliados, logra resultados de mejor clase entre modelos de lenguaje basados en difusión en generación libre en OpenWebText y resummarización XSum con 1B parámetros. El entrenamiento requirió aproximadamente 1.500 EFLOPs de computación, completamente en NPUs Ascend.

La premisa central: el lenguaje es el último reducto en un mundo donde imágenes, video y audio se modelan todos en espacios latentes continuos. La generación autorregresiva token-por-token es inherentemente secuencial. La difusión discreta elimina el orden izquierda-derecha pero aún opera en espacio de tokens. Los modelos de lenguaje continuo anteriores hicieron dos compromisos: heredar espacios de incrustación no construidos para generación y decodificación simultáneas, o comprimir latentes para hacer la difusión manejable al costo de la fidelidad de reconstrucción. AURORA-LM evita ambos: preservar un latente de texto de alta capacidad y decodificable e implicar que el modelo de difusión aprenda su distribución directamente.

La arquitectura tiene dos componentes separables. Un Codificador-Decodificador basado en consultas mapea el texto en una secuencia latente alineada por prefijo de alta capacidad que es decodificable por construcción. La representación lleva información de nivel de token completo en lugar de un artefacto de cuello de botella. Un Transformador de Difusión block-causal aprende la distribución sobre ese latente a través de coincidencia de flujo. En la inferencia, genera de izquierda a derecha a nivel de bloque mientras desruidosiza posiciones dentro de cada bloque en paralelo — un híbrido que preserva la estructura coarse secuencial sin requerir emisión de token completamente secuencial.

Hacer que la difusión funcione en un latente de capacidad total requirió tres correcciones dirigidas. AURORA-LM restringe solo la ruta de entrada ruidosa durante el entrenamiento mientras mantiene el objetivo de predicción latente limpio completo intacto, permitiendo que el modelo maneje latentes de ancho completo sin reducir la señal al decodificador. Un cronograma de ruido calibrado ajusta los niveles de ruido al ancho latente en lugar de tratar todas las dimensiones uniformemente. Un término de consistencia de auto-trayectoria cierra la discrepancia entrenamiento-prueba: el entrenamiento muestrea ruido independientemente por paso, pero la inferencia desruidosiza iterativamente. El papel cierra explícitamente esa brecha.

Con 1B parámetros, el modelo supera a un modelo de lenguaje de difusión latente más grande lanzado públicamente en ambos puntos de referencia bajo evaluación emparejada. Esa descripción se ajusta a Cola DLM (Mayo 2026), que fue evaluado en escala de aproximadamente 2B-parámetros con aproximadamente 2.000 EFLOPs. La comparación favorece a AURORA-LM por conteo de parámetros. La clase de comparación importa: estos son difusión y LMs continuos, no líneas de base autorregresivas. No se incluye comparación directa contra modelos autorregresivos clase-GPT en las mismas tareas.

El potencial multimodal es la apuesta arquitectónica con el horizonte más largo. Porque AURORA-LM opera el texto en espacio latente continuo — el mismo régimen que difusión de imagen y video — no se requiere puente discreto-a-continuo al combinar modalidades. El latente es composable con canales de difusión de visión por diseño. Si eso proporciona sistemas multimodales mejores que adaptadores de cross-attention pernos en LLMs autorregresivos sigue siendo una pregunta abierta que el artículo aún no prueba.

Dos notas operativas para equipos que evalúan este trabajo: todos los experimentos se ejecutaron en NPUs Ascend (Huawei), no en hardware NVIDIA. La reproducción en clusters H100/A100 requiere portabilidad, y el entrenamiento de coincidencia de flujo a escala conlleva costos de memoria no triviales. Ningún código o peso fue lanzado con el envío arXiv v1 el 3 de agosto de 2026.

AURORA-LM es el intento más fundamentado hasta ahora para colocar texto dentro del mismo paradigma latente continuo que la generación de imagen y video. Los resultados de 1B benchmark son de mejor clase entre LMs de difusión. La disponibilidad para producción espera el lanzamiento de código y validación de hardware NVIDIA.