Apple negocia con PrismML sobre compresión de modelos de IA para iPhone

PrismML, una spinoff de Caltech, ha comprimido el modelo Qwen de 27 mil millones de parámetros de Alibaba de 54 GB a menos de 4 GB, permitiendo que todos los parámetros se ejecuten completamente activos en un iPhone 15 o más reciente. La técnica de compresión utiliza pesos de 1 bit (estados encendido/apagado) y variantes ternarias en lugar del formato estándar de punto flotante de 16 bits, logrando una tasa de compresión superior al 90%. El CEO Babak Hassibi le dijo a CNBC que Apple y otras empresas han estado evaluando la tecnología y las discusiones están "progresando bien"; Hassibi dijo que los modelos comprimidos de PrismML utilizan 10-15 veces menos memoria, se ejecutan 6-8 veces más rápido y consumen 3-6 veces menos energía que las versiones convencionales, aunque con pequeños compromisos de precisión.

Esto aborda una restricción clave en la estrategia de IA on-device de Apple. El modelo on-device más grande actual de Apple es AFM 3 Core Advanced con 20 mil millones de parámetros utilizando arquitectura dispersa (solo 1-4 mil millones activos a la vez). El enfoque de PrismML mantiene los 27 mil millones de parámetros completamente activos simultáneamente, permitiendo razonamiento más complejo, generación de código y tareas con agentes. El tiempo se alinea con la reformulación de junio de Siri en WWDC de Apple, que actualmente depende de Gemini de Google para funciones avanzadas.

Los arquitectos que observan inferencia on-device deben tomar nota de las implicaciones para la economía de nube versus edge. Si las afirmaciones de PrismML se cumplen en producción, encoger modelos de IA podría trasladar computación de centros de datos a teléfonos, reduciendo la dependencia de licencias en la nube y disminuyendo la latencia para funciones privadas. PrismML recaudó $16,25 millones en financiamiento seed de Khosla Ventures y planea comprimir modelos de frontera más grandes. Sin embargo, la verificación independiente de las afirmaciones de desempeño sigue siendo crítica: los analistas destacaron el consumo de batería durante tareas continuas y la confiabilidad en tiempo real a escala como preguntas abiertas.