Prova de conceito Colibrì executa modelo de fronteira 1.5TB em RAM de 25GB; aponta para inferência em escala do consumidor

Um engenheiro italiano conhecido como JustVugg (Vincenzo) criou Colibrì, uma prova de conceito que executa o modelo GLM-5.2 com 744 bilhões de parâmetros (uma arquitetura Mixture-of-Experts) em hardware consumidor modesto: uma CPU padrão, 25 GB de RAM e uma unidade NVMe virtual de 1 GB/s. Embora a velocidade de inferência seja presentemente apenas 0,05-0,1 tokens por segundo, o projeto demonstra que capacidade de nível de fronteira pode teoricamente ser acessada em máquinas com recursos restritos.

Colibrì funciona carregando fatias de modelo na RAM sob demanda. O design Mixture-of-Experts do GLM-5.2 ativa apenas o subconjunto de modelos especialistas necessários por token. Ao carregar e descarregar repetidamente os especialistas relevantes, Colibrì troca compute e velocidade por pegada de memória.

Colibrì ainda é uma prova de conceito e ainda não roda em GPUs; até versões de GPU enfrentariam gargalos de movimento de dados. No entanto, o projeto ganhou adoção rápida em suas primeiras semanas, e Vincenzo está coletando dados de benchmark.

Para equipes de ML ops: Colibrì exemplifica o padrão 'local AI' emergente—negociando latência por acessibilidade e privacidade. Embora impraticável para inferência em produção hoje, este trabalho sinaliza que capacidade de modelo de fronteira pode em breve rodar em dispositivos edge ou máquinas locais modestas.