Apple em negociações com PrismML sobre compressão de modelo de IA no iPhone

PrismML, uma spinoff do Caltech, comprimiu o modelo Qwen de 27 bilhões de parâmetros da Alibaba de 54 GB para menos de 4 GB, permitindo que todos os parâmetros funcionem totalmente ativos em um iPhone 15 ou mais recente. A técnica de compressão usa pesos de 1 bit (estados ligado/desligado) e variantes ternárias em vez do formato padrão de ponto flutuante de 16 bits, alcançando uma taxa de compressão superior a 90%. O CEO Babak Hassibi disse ao CNBC que Apple e outras empresas estão avaliando a tecnologia e as discussões estão "progredindo bem"; Hassibi disse que os modelos comprimidos do PrismML usam 10-15 vezes menos memória, rodam 6-8 vezes mais rápido e consomem 3-6 vezes menos energia do que versões convencionais, embora com pequenos compromissos de precisão.

Isso aborda uma restrição fundamental na estratégia de IA on-device da Apple. O maior modelo on-device atual da Apple é o AFM 3 Core Advanced com 20 bilhões de parâmetros usando arquitetura esparsa (apenas 1-4 bilhões ativos por vez). A abordagem do PrismML mantém todos os 27 bilhões de parâmetros ativos simultaneamente, permitindo raciocínio mais complexo, geração de código e tarefas com agentes. O timing se alinha com a reformulação de junho da Siri no WWDC da Apple, que atualmente depende do Gemini do Google para recursos avançados.

Arquitetos observando inferência on-device devem observar as implicações para economia na nuvem versus edge. Se as reivindicações do PrismML se sustentarem em produção, encolher modelos de IA poderia transferir computação de datacenters para telefones, reduzindo dependência de licenciamento na nuvem e diminuindo latência para recursos privados. O PrismML levantou $16,25 milhões em financiamento seed do Khosla Ventures e planeja comprimir modelos de fronteira maiores. No entanto, verificação independente de reivindicações de desempenho permanece crítica—analistas destacaram consumo de bateria durante tarefas contínuas e confiabilidade em tempo real em escala como questões em aberto.