Um artigo de pesquisa da PricewaterhouseCoopers publicado em 6 de agosto no arXiv compara duas maneiras de fazer modelos de linguagem chamarem ferramentas: JSON nativo versus programação de chamadas de ferramentas (PTC), onde modelos escrevem Python executável. O benefício segue linhas de gerações de modelos: todos os cinco modelos Anthropic e as três gerações GPT mais novas ganham com PTC; três modelos GPT mais antigos não.

O estudo testou 14 modelos de linguagem no BFCL v4, Berkeley's Function Calling Leaderboard, que pondera tarefas agênticas multi-etapas em 40% e desempenho multi-turno em 30%. No modo JSON, modelos emitem um objeto JSON estruturado por chamada de função. No PTC, ferramentas são expostas como stubs Python tipados; o modelo escreve um script executado em um subprocess isolado, retornando todos os resultados em um turno de inferência ao invés de um por chamada.

PTC igualou ou superou JSON em 11 de 14 modelos. A família GPT-5.6 ganhou 10,6%. Sob fan-out paralelo, PTC igualou ou superou JSON em 13 de 14 modelos. A descoberta principal: a divisão de desempenho segue linhas de gerações de modelos, não linhas de famílias.

O comprimento da cadeia importa mais. Com 12 ou mais chamadas de ferramentas sequenciais, PTC abre uma lacuna de precisão de 18,8% sobre JSON—impulsionada pelo turno de inferência extra que JSON requer por elo. Pipelines encadeando mais de uma dúzia de chamadas fazem da escolha de scaffolding uma variável primária de confiabilidade.

JSON atinge uma parede estrutural em chamadas paralelas. Em limites específicos do modelo—N=70–72 para Claude Sonnet 5—JSON silenciosamente descarta chamadas inteiras. PTC manteve precisão de 100% em N=100. Agentes rastreando catálogos de API ou executando consultas simultâneas de banco de dados atingem esse limite sem aviso.

Sob carga de contexto adversarial, JSON degrada 2,3% em média; uma abordagem de descoberta de sistema de arquivos cai 32%. PTC permanece estável. O isolamento do subprocess previne contexto de conversa crescente de corromper argumentos de chamada de função.

PTC tem um custo genuíno: requer modelos capazes de código e um runtime isolado, exigindo gerenciamento de dependências e escopo de permissões. Chamadas de ferramentas JSON não precisam de nenhum dos dois. Para modelos lançados antes do final de 2024, esses custos de infraestrutura não compram ganho de desempenho; PTC tem desempenho inferior em gerações GPT mais antigas, sugerindo um limiar de capacidade.

Se sua pilha de agentes executa um modelo de geração atual e encadeia 12 ou mais etapas, ou se aproxima dos limites de chamadas paralelas específicas do modelo, mude para programação de chamadas de ferramentas—dado um subprocess isolado seguro.