Google DeepMind lança versão quantizada com QAT do Gemma 4 31B denso em formato compressed-tensors w4a16, permitindo inferência nativa no vLLM com qualidade próxima ao bfloat16 e footprint de memória drasticamente reduzido — relevante para equipes que precisam rodar 31B parâmetros em hardware de workstation.
El laboratorio no publicó benchmark verificable para este modelo.
Modelos densos de 30B+ parâmetros em bfloat16 exigem tipicamente 60–65 GB de VRAM, confinando o deploy a instâncias A100/H100 de alto custo; a quantização QAT w4a16 reduz esse requisito para a faixa de 16–18 GB, colocando o modelo dentro do alcance de GPUs L4, RTX 4090 ou instâncias de inferência de tier intermediário.
O uso de QAT — em vez de quantização pós-treinamento — é relevante porque preserva métricas de qualidade mais próximas do modelo de precisão completa, reduzindo o risco de degradação em tarefas de raciocínio e codificação onde modelos quantizados agressivamente costumam perder coerência. O suporte nativo ao vLLM via compressed-tensors elimina etapas de conversão no pipeline de deploy, o que importa para equipes com SLAs de produção.
Arquitetos de inferência e engenheiros MLOps que operam stacks baseados em vLLM e precisam maximizar throughput em GPUs de médio porte devem avaliar este checkpoint como substituto direto de modelos de 7B–13B quando a tarefa exige raciocínio de contexto longo ou compreensão de imagem — sem necessidade de escalar para hardware de datacenter de ponta. CTOs de empresas mid-market que buscam capacidade multimodal on-premises sob licença permissiva (Apache 2.0) também têm aqui uma opção concreta para evitar dependência de APIs externas.