Apple Core AI envía framework de LLM en dispositivo soportando modelos de hasta 70B parámetros

Apple anunció Core AI en WWDC 2026, el sucesor oficial de Core ML, diseñado para ejecutar grandes modelos de lenguaje e IA generativa completamente en dispositivo en iPhone, iPad, Mac y Apple Vision Pro. El framework soporta modelos PyTorch personalizados y modelos de código abierto pre-optimizados que van desde modelos de visión compactos de 3B-parámetros hasta grandes LLMs de razonamiento de 70B-parámetros, con acceso de hardware unificado en CPU, GPU y Neural Engine.

Core AI es la base para Apple Intelligence y se pone a disposición de los desarrolladores para cargas de trabajo de IA personalizadas. Proporciona rutas de datos zero-copy a través de una API Swift segura en memoria, compilación ahead-of-time para tiempos de carga casi instantáneos, y especialización automática a versiones de hardware y SO. La compresión de modelo a través de cuantización y palettización se alinea con el tiempo de ejecución de Core AI para un rendimiento eficiente en dispositivo.

El framework garantiza privacidad de datos del usuario, cero dependencias de servidor y cero costos por token en la nube — eliminando completamente la carga operativa de la inferencia en la nube. Para arquitectos, esto cambia la economía de la IA en dispositivo: anteriormente, ejecutar modelos de 70B en dispositivo era prohibitivo; Core AI lo hace nativo. Los desarrolladores pueden convertir modelos PyTorch usando TorchConverter().add_exported_program().to_coreai(), o crear modelos directamente con operaciones compuestas incorporadas y kernels Metal personalizados para optimización de nivel inferior.