Três Horas em uma GPU de US$ 329 Substitui Milhares de Horas de Treinamento NAS

O artigo Frugal NAS de Romain Amigon demonstra busca de arquitetura neural em uma única NVIDIA RTX 3060 em três horas, uma tarefa que normalmente requer milhares de dias de GPU. O framework identifica uma arquitetura para CIFAR-10 com aproximadamente 174.000 parâmetros, alcançando 84,85% de precisão, e um modelo de detecção de fraude em cartão de crédito com cerca de 4.600 parâmetros, obtendo um F1 de 0,71 em dados tabulares altamente desbalanceados.

A pilha combina um controlador Transformer autoregressivo, treinado via Aprendizado por Reforço, para busca macro-global, com um algoritmo de Colmeia Artificial para exploração micro-local de regiões promissoras. Um mecanismo de entropia dinâmica injeta ruído para evitar a convergência prematura da política de RL, e uma penalidade de profundidade rígida é integrada à função de recompensa para suprimir o inchaço do modelo, divergindo das abordagens baseadas em supernet NAS que dependem do compartilhamento de pesos para amortizar o custo.

Na RTX 3060, um cartão de consumo de US$ 329, a busca do CIFAR-10 foi concluída em três horas, resultando em uma arquitetura 35% menor do que os ~270.000 parâmetros do ResNet-20, com precisão comparável. A tarefa de fraude otimizou diretamente o F1-Score em vez de métricas proxy como contagem de parâmetros ou perda de validação, resultando em uma rede com menos de 5.000 parâmetros sem bias inductivo específico para visão. Esses resultados contrastam com métodos NAS baseados em RL, como NASNet e mNASNet, que tradicionalmente exigem milhares de dias de GPU para benchmarks de visão semelhantes.

O artigo apresenta uma contribuição teórica sem evidência de produção. A precisão do CIFAR-10 de 84,85% está abaixo das bases de redes eficientes modernas, e o F1 de detecção de fraude de 0,71 é moderado, levantando questões sobre a generalizabilidade das arquiteturas além das condições experimentais limitadas do artigo. Arquitetos precisariam de benchmarks de latência de inferência e throughput em silício de borda real, estabilidade de treinamento quando as células pesquisadas são escaladas além de conjuntos de dados de brinquedo, e um caminho de exportação para formatos padrão como ONNX ou TFLite antes da adoção, nenhum dos quais são fornecidos.

A sensibilidade da busca de duas fases em relação aos seus hiperparâmetros permanece sem resolução. A transferência Transformer-para-ABC aborda o cold-start nos experimentos do artigo, mas a interação entre a entropia inicial do controlador de RL, o limite de entropia dinâmica e o coeficiente de penalidade de profundidade não é caracterizada. Uma penalidade de profundidade excessivamente agressiva pode afundar a busca em regiões rasas, com subajuste; muito fraca, e o inchaço do parâmetro retorna. O artigo também omite uma curva de custo de busca, crucial para estimar se a execução de três horas do CIFAR-10 foi típica ou excepcional.

Arquitetos devem considerar a adoção do mecanismo de penalidade de profundidade e da topologia de busca macro-para-micro de duas fases: use uma política baseada em RL de custo-efetivo para limitar o espaço de exploração antes de transferir para um otimizador em nuvem e penalize explicitamente a profundidade na recompensa para manter a contagem de parâmetros adequada para implantação em borda.