Prueba de concepto Colibrì ejecuta modelo de frontera 1.5TB en RAM de 25GB; apunta a inferencia a escala del consumidor

Un ingeniero italiano conocido como JustVugg (Vincenzo) creó Colibrì, una prueba de concepto que ejecuta el modelo GLM-5.2 de 744 mil millones de parámetros (una arquitectura Mixture-of-Experts) en hardware de consumidor modesto: una CPU estándar, 25 GB de RAM y una unidad NVMe virtual de 1 GB/s. Aunque la velocidad de inferencia es actualmente solo 0,05-0,1 tokens por segundo, el proyecto demuestra que la capacidad de nivel de frontera puede teóricamente ser accesible en máquinas con recursos restringidos.

Colibrì funciona cargando porciones de modelo en RAM bajo demanda. El diseño Mixture-of-Experts del GLM-5.2 activa solo el subconjunto de modelos expertos necesarios por token. Al cargar y descargar repetidamente los expertos relevantes, Colibrì intercambia cálculo y velocidad por huella de memoria.

Colibrì sigue siendo una prueba de concepto y aún no se ejecuta en GPUs; incluso las versiones de GPU enfrentarían cuellos de botella de movimiento de datos. Sin embargo, el proyecto ha ganado adopción rápida en sus primeras semanas, y Vincenzo está recopilando datos de referencia.

Para equipos de ML ops: Colibrì ejemplifica el patrón 'IA local' emergente—intercambiando latencia por accesibilidad y privacidad. Aunque impracticable para inferencia en producción hoy, este trabajo señala que la capacidad del modelo de frontera pronto podría ejecutarse en dispositivos edge o máquinas locales modestas.