SeGaBench Testa LLMs em Otimização de Código Cego para Compiladores

Um benchmark de Kent State, George Mason e Binghamton Universities testa se LLMs conseguem recuperar informações semânticas que faltam aos compiladores C/C++, e então usá-las para produzir código mais rápido e comprovadamente correto.

SeGaBench, postado no arXiv em 4 de agosto, contém 120 casos de teste—100 sintéticos, 20 de código-fonte real—em três classes de problemas: suposições de baixo nível (aliasing, alinhamento, overflow), invariantes de estrutura de dados e semantic lifting de alto nível. Cada caso inclui semântica de habilitação oculta, um artefato oracle representando a otimização máxima alcançável, um validador de correção, um validador semântico e um protocolo de desempenho reproduzível. Arquitetos podem cloná-lo e executá-lo hoje.

A avaliação abrange cinco LLMs, cada um testado cinco vezes por caso. O mais forte produz artefatos corretos em 94,8% das respostas, consegue pelo menos 1,05× speedup em 83,3% e tem sucesso em 93,3% dos casos. O problema: artefatos corretos frequentemente fecham apenas parte da oracle gap. Correção e recuperação completa de desempenho não são a mesma coisa.

Essa distinção importa para proprietários de inference stack. O compilador carecida de contexto semântico—pointer provenance, invariantes de container, type narrowing—que vive fora da função sob análise. SeGaBench pede ao LLM fornecer esse contexto como anotação preservadora de contrato ou rewrite. Quando o modelo erra, o validador detecta. Quando o modelo está certo mas é conservador, o delta de desempenho contra o oracle revela o upside restante. Ambos os resultados sinalizam o que um pipeline de produção pode agir.

KernelBench (Stanford, ICML 2025) mede síntese de kernel completa com taxas de sucesso one-shot de 12% para DeepSeek R1, 10% para o1 e 10% para Claude 3.5 Sonnet em tarefas Level 1. SeGaBench é mais estreito—anotação semântica e recuperação de contrato, não síntese completa—o que explica a taxa de sucesso de 93,3% dos casos. O escopo é intencionalmente limitado a onde LLMs têm uma vantagem plausível sobre análise estática.

O deployment KernelEvolve de produção da Meta usa LLMs em um loop de otimização closed-loop em hardware NVIDIA, AMD e MTIA, alcançando 2× a 14× speedups sobre torch.compile em modelos reais incluindo Llama-3.1-8B, Whisper e Stable Diffusion. O sistema depende de outputs validados; o LLM propõe, um execution harness decide. SeGaBench codifica o mesmo contrato: LLMs como semantic proposers especulativos, validadores como o gate. O benchmark formaliza o que deployments de produção já fazem informalmente.

Mesmo com 94,8% de correção no nível de resposta, fechamento parcial da oracle gap é a norma. Um modelo que anota aliasing corretamente pode falhar em expressar a invariante completa que o otimizador precisa para disparar a transformação mais agressiva. Esse gap residual não é ruído aleatório; sinaliza quais classes semânticas são difíceis para modelos atuais. A taxonomia de três categorias torna isso acionável em vez de um escore simples pass/fail.

Para arquitetos conectando chamadas LLM em um pipeline de compilação offline ou síntese de kernel, SeGaBench é agora o baseline. Execute contra seu modelo escolhido antes do shipping; compare correção de nível de resposta e fechamento de oracle gap, não apenas taxa de aprovação.