Apple Lança Framework Core AI para Inferência de LLM On-Device em Apple Silicon
A Apple anunciou Core AI no WWDC 2026, projetado para permitir que desenvolvedores executem grandes modelos de linguagem e IA generativa totalmente on-device, suportando modelos PyTorch personalizados convertidos e modelos de código aberto pré-otimizados. Core AI é um novo framework para executar modelos de IA customizados diretamente no Apple Silicon—um sistema propósito-construído para cargas de trabalho de IA generativa.
O framework fornece integração profunda do Xcode e compilação de modelo antecipada (ahead-of-time), permitindo que desenvolvedores aproveitem todo o Apple Silicon fornecendo inferência extremamente rápida na CPU, GPU e Neural Engine. A Apple está fornecendo suporte para três abordagens distintas de execução de ML/IA: Core ML para ML clássico não neural, Core AI para redes neurais e transformadores, e MLX para trabalhar com pesos de modelo personalizados. Core AI suporta tamanhos de modelo que variam de modelos compactos de visão com parâmetros 3B até modelos de raciocínio com parâmetros 70B, executados em iPhone, iPad, Mac e Apple Vision Pro.
Para arquitetos, Core AI importa porque é o primeiro framework de plataforma projetado nativamente para inferência de LLM em dispositivos de consumo. Permite inferência com custo zero (sem chaves de API, sem cobrança, sem limites de taxa), privacidade total (dados nunca saem do dispositivo), e remove a necessidade de chamar APIs de nuvem para IA on-device—uma mudança fundamental para construir recursos de IA focados em privacidade em apps. Este framework compete diretamente com padrões de inferência local que construtores vêm montando manualmente, agora incorporados no SO.
Fontes
- Primary source
- infoq.com
“Core AI is designed to allow developers to run large language models and generative AI entirely on-device, supporting both custom-converted PyTorch models and pre-optimized open-source models”