C++ runtime referência pra inference em CPU + Apple Silicon + edge devices.
Padrão pra inference fora de GPU NVIDIA. GGUF format virou o formato de fato pra modelos quantizados. Roda em laptops, mobile, edge devices, Raspberry Pi. Qualidade dos quants (Q4_K_M / Q5_K_M) preserva surpreendentemente bem. Para qualquer use case de modelo local ou edge: stack default.