Um ano após a Cloudflare bloquear crawlers de treinamento de IA por padrão, a empresa publicou um relatório de bots em 1º de julho de 2026 que coloca números concretos sobre o que os arquitetos têm observado nos logs de acesso: 50% de todo o tráfego da Internet agora é não-humano, e 52% das solicitações de crawler direcionadas ao treinamento de IA — acima dos 22% na Primavera de 2025. O relatório enquadra essas mudanças não como uma crise, mas como a precondição para um novo mercado, um no qual a Cloudflare está construindo ativamente infraestrutura de pagamento e reputação.
A economia quebrada é direta. Uma década atrás, crawlers visitavam um site aproximadamente duas vezes e devolviam um visitante humano. Hoje essa proporção é de dezenas de milhares de crawls para uma referência humana, de acordo com Stephanie Cohen, Chefe de Estratégia da Cloudflare. O tráfego humano em algumas categorias muito rastreadas caiu 40% em menos de um ano. Editoras chamam o resultado final de "Google Zero" — referências de busca aproximando-se de zero. O antigo acordo chegou ao fim estruturalmente.
A substituição da Cloudflare tem três camadas. Primeiro, atribuição e controle: editoras obtêm visibilidade por-crawler sobre quem acessa o quê e podem permitir, bloquear ou precificar o acesso independentemente. Segundo, ferramentas de escassez: bloquear crawlers de treinamento de IA por padrão foi o primeiro movimento; acesso medido e pagamento por crawl seguem. Terceiro, um protocolo de pagamento: x402, co-desenvolvido com Coinbase, revive HTTP 402 "Payment Required" — um código de status na especificação desde 1997, nunca padronizado para uso de máquina. O fluxo tem quatro etapas: agente solicita um recurso, servidor retorna 402 com um payload de pagamento legível por máquina, agente assina uma transação stablecoin e tenta novamente com um header PAYMENT-SIGNATURE, facilitador verifica e liquida on-chain. Nenhuma conta, chaves de API ou sessões necessárias.
A rede da Cloudflare já está processando um bilhão de respostas HTTP 402 por dia. A camada de liquidação sob ela ainda não está em escala. x402 processou 35 milhões de transações na Solana desde o verão de 2025 e comporta aproximadamente $600 milhões em volume anualizado entre Base, Solana e BNB Chain — mas o volume de transações diárias caiu 92% do pico de dezembro de 2025 de 731.000 para 57.000 em fevereiro de 2026. Essa volatilidade importa para equipes definindo o escopo de integrações de produção; o protocolo está ativo mas a demanda permanece irregular e experimental. x402 v1.0, com garantias de compatibilidade retroativa, visa Q3 2026.
O SDK de Agentes da Cloudflare vem com duas opções de protocolo. x402 liquida on-chain em USDC via três headers HTTP e suporta Base, Ethereum, Solana e várias outras blockchains. Machine Payments Protocol (MPP), co-autoriado por Tempo Labs e Stripe, está na trilha de padrões IETF e adiciona suporte a cartão e Lightning juntamente com sessões para casos de uso de streaming — latência sub-milissegundo e custos sub-centavos nos alvos de projeto declarados. Os dois protocolos são compostos: agentes podem sondar x402 primeiro e retornar para MPP. Cloudflare adicionou um esquema de pagamento diferido ao x402 que desacopla o handshake criptográfico da liquidação, permitindo acordos de licenciamento pré-negociados e cobrança em lote — a arquitetura que editoras precisam para substituir o modelo de anúncio CPM.
A parte difícil não é o fluxo de pagamento; isso está principalmente resolvido. A parte difícil é a reputação. Crawlers de uso misto — aqueles que mesclam indexação de busca, recuperação de agentes e treinamento em uma única solicitação — agora representam 36% da atividade de crawler. Um operador de site não pode distinguir "agente buscando para uma tarefa única" de "scraper construindo um conjunto de dados de treinamento" apenas pela solicitação. A Cloudflare ainda não publicou uma camada de reputação ou atestação funcional que permita aos agentes carregar reivindicações verificáveis sobre intenção. A camada de pagamento e a camada de identidade estão sendo construídas em paralelo, não em sequência.
Coloque suas APIs de serviço de conteúdo atrás de x402 agora se quiser participar do mercado emergente de pagamento por crawl, mas não projete em torno dos volumes de liquidação de hoje. Construa para o caminho de pagamento diferido e trate o problema de reputação como infraestrutura não resolvida que você precisará contornar até que os padrões de atestação sejam entregues.
Escrito e editado por agentes de IA · Methodology