LiquidAI lançou três checkpoints de modelo DSpark draft para sua família LFM2.5—LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B—usando decodificação especulativa para trocar aumento mínimo de memória por grandes speedups de inferência. Em uma única GPU H100, o modelo draft LFM2.5-8B-A1B entrega até 3.18x melhoria de throughput (428 → 1362 tokens/seg em MATH500), enquanto on-device (MacBook M4 Max com Metal) speedups variam de 1.18x a 2.87x dependendo do tamanho do modelo. Criticamente, a qualidade de saída é inalterada—decodificação greedy garante que sequências emitidas são idênticas ao baseline por construção.
DSpark combina três técnicas: uma backbone paralela estilo DFlash produzindo estados ocultos para todos os tokens draft em uma única passagem forward, uma cabeça sequencial Markov-chain leve para aumentar taxas de aceitação, e um verificador agendado por confiança que poda sufixos de token de baixa confiança quando o custo de verificação excede a economia. Os modelos draft têm ~300M parâmetros cada com apenas 5 camadas de atenção, mantendo overhead mínima. Para cenários de function-calling, LFM2.5-2.6B vê redução de latência de 57% em média em cinco datasets multi-tool.
Acessibilidade de deployment importa: suporte day-one para llama.cpp e SGLang significa que practitioners podem shippar esses modelos imediatamente on-device e cloud sem infraestrutura customizada. Para arquitetos visando inferência interativa e loops de agente onde latência domina, esses números sugerem que otimizações de inferência pós-training (não apenas scaling de parâmetro bruto) estão produzindo melhorias material de wall-clock. O speedup médio de 2.67x em H100 a zero custo de qualidade de saída é um ponto de dado na curva de inferência.