Pesquisadores da Universidad Politécnica de Madrid e Purdue University publicaram Decoding-Level Taboo, uma ferramenta diagnóstica que mede como LLMs funcionam em implantações de produção real em vez de condições de benchmark. Sistemas de produção não enviam prompts limpos. Eles sobrepõem instruções do sistema, guardrails de segurança e regras de saída estruturada que empurram a geração para fora do caminho de treinamento do modelo.

O mecanismo do Taboo é direto. Em vez de criar prompts adversariais, o teste intervém no espaço de logit em tempo de execução. Em cada limite de palavra, Taboo mascara os tokens candidatos principais do modelo, forçando circunlóquio—expressar a mesma intenção semântica através de vocabulário secundário. O resultado é um sinal limpo sobre a qualidade de geração fora do caminho sem verificadores externos, dados rotulados ou juízes ajustados. O único custo é a inferência.

Nas famílias de modelos de peso aberto, os autores encontram dois drivers dominantes de robustez fora do caminho: escala de parâmetros e alinhamento de instrução pós-treinamento. Modelos maiores funcionam melhor. Modelos melhor alinhados também funcionam melhor, principalmente independentemente do tamanho. O artigo não publica um escore de leaderboard composto, portanto as equipes não podem comparar diretamente checkpoints em um índice Taboo. A comunidade precisa de execuções públicas do Taboo em checkpoints nomeados antes que ele entre em pipelines de seleção de modelos.

A lacuna benchmark-deployment que Taboo direcionou é amplamente documentada. Classificações públicas de MMLU não predizem desempenho de carga de trabalho porque entradas empresariais—prompts do sistema longos, contexto RAG, esquemas de saída estruturada, histórico multi-turno—diferem radicalmente de benchmarks padronizados. Provedores atualizam comportamento de modelo sob números de versão estável sem sempre comunicar mudanças. Um modelo que passou em avaliação interna há três meses pode lidar com composição de prompt do sistema de forma diferente hoje. Taboo oferece às equipes uma sonda de tempo de execução repetível que não depende de conjuntos de avaliação fixos, tornando-a mais robusta à contaminação do que benchmarks estáticos.

As aplicações secundárias são potencialmente tão valiosas quanto o diagnóstico principal. Ao forçar circunlóquio, Taboo gera diversidade natural em dados de treinamento sintético—útil para conjuntos de dados de ajuste fino que precisam de variedade lexical sem desvio semântico. Também realiza stress-test de guardrails de segurança diretamente. Se um modelo sob restrição contorna um guardrail de gatilho de vocabulário, esse é um sinal que vale a pena capturar antes da implantação. Kalvium Labs mediu taxas de bypass de guardrail em quatro projetos de clientes: filtros de entrada baseados em regex capturaram 60–70% das tentativas de injeção, enquanto classificadores baseados em LLM atingiram 89–94%. Nenhum deles leva em conta mudanças de comportamento de modelo induzidas por restrições de saída estruturada—que Taboo investiga.

Taboo não requer acesso aos pesos do modelo. A intervenção no espaço de logit funciona contra qualquer modelo que exponha saídas de logit ou probabilidades de token, cobrindo cada stack de serving de peso aberto importante (vLLM, TGI, Ollama) e qualquer provedor que exponha log-probs via API. Equipes executando sua própria inferência em famílias Llama, Mistral ou Qwen podem colocar Taboo em uma checklist pré-implantação sem modificar arquitetura ou retreinar.

Taboo é a primeira ferramenta barata e livre de verificador para medir como um modelo se degrada graciosamente quando restrições estruturais estreitam seu corredor de geração. Execute antes de confirmar um checkpoint para produção e novamente após qualquer atualização de provedor.