Tres horas en una GPU de $329 sustituyen a miles de horas de entrenamiento NAS

El trabajo de Romain Amigon, Frugal NAS, muestra la búsqueda de arquitectura neural en una sola NVIDIA RTX 3060 en tres horas, una tarea que típicamente requiere miles de días de GPU. El marco identifica una arquitectura CIFAR-10 con aproximadamente 174,000 parámetros, logrando un 84.85% de precisión, y un modelo de detección de fraude de tarjetas de crédito con alrededor de 4,600 parámetros, obteniendo un F1 de 0.71 en datos tabulares altamente desequilibrados.

La pila combina un controlador Transformer autoregressivo, entrenado mediante Aprendizaje por Refuerzo, para búsqueda macro-global, con un algoritmo de Colmena de Abeja Artificial para micro-explotación local de regiones prometedoras. Un mecanismo de entropía dinámica inyecta ruido para evitar la convergencia prematura de la política de RL, e una penalización de profundidad dura se integra en la función de recompensa para suprimir el inflado del modelo, divergiendo de los enfoques NAS basados en supernet que dependen de compartir pesos para amortizar el costo.

En la RTX 3060, una tarjeta de consumo de $329, la búsqueda CIFAR-10 se completó en tres horas, obteniendo una arquitectura 35% más pequeña que los ~270,000 parámetros de ResNet-20 con precisión comparable. La tarea de fraude optimizó directamente el F1-Score en lugar de métricas proxy como el recuento de parámetros o la pérdida de validación, resultando en una red de menos de 5,000 parámetros sin sesgos inductivos específicos de la visión. Estos resultados contrastan con métodos NAS basados en RL como NASNet y mNASNet, que tradicionalmente exigen miles de días de GPU para similares benchmarks de visión.

El documento presenta una contribución teórica sin evidencia de producción. La precisión CIFAR-10 del 84.85% es inferior a los modernos puntos de referencia de redes eficientes, y el F1 de detección de fraude de 0.71 es moderado, planteando preguntas sobre la generalización de las arquitecturas más allá de las limitadas condiciones experimentales del documento. Los arquitectos requerirían benchmarks de latencia de inferencia y rendimiento en silicio de borde real, estabilidad de entrenamiento cuando las células buscadas se escalan más allá de conjuntos de datos juguetes, y una ruta de exportación a formatos estándar como ONNX o TFLite antes de la adopción, ninguno de los cuales se proporciona.

La sensibilidad de la búsqueda de dos fases a sus hiperparámetros sigue sin resolverse. El paso de controlador Transformer a ABC aborda el inicio en frío en los experimentos del documento, pero la interacción entre la entropía inicial del controlador de RL, el umbral de entropía dinâmica y el coeficiente de penalización de profundidad no está caracterizada. Una penalización de profundidad demasiado agresiva puede strandear la búsqueda en regiones superficiales, de subajuste; demasiado débil, y el inflado de parámetros regresa. El documento también omite una curva de costo de búsqueda, crucial para estimar si la ejecución CIFAR-10 de tres horas fue típica o excepcional.

Los arquitectos deberían considerar la adopción del mecanismo de penalización de profundidad y la topología de búsqueda de macro a micro en dos fases: use una política basada en RL rentable para delimitar el espacio de exploración antes de pasar a un optimizador de enjambre, y penalice explícitamente la profundidad en la recompensa para mantener recuentos de parámetros adecuados para el despliegue en el borde.