Un año después de que Cloudflare bloqueara crawlers de entrenamiento de IA de forma predeterminada, la empresa publicó un informe de bots el 1 de julio de 2026 que proporciona números concretos sobre lo que los arquitectos han observado en los registros de acceso: 50% de todo el tráfego de Internet ahora es no humano, y 52% de las solicitudes de crawler se dirigen al entrenamiento de IA — aumentando desde el 22% en Primavera de 2025. El informe enmarca estos cambios no como una crisis sino como la precondición para un nuevo mercado, uno que Cloudflare está construyendo activamente con infraestructura de pago y reputación.
La economía rota es directa. Hace una década, los crawlers visitaban un sitio aproximadamente dos veces y devolvían un visitante humano. Hoy esa proporción es de decenas de miles de crawls por una referencia humana, según Stephanie Cohen, Directora de Estrategia de Cloudflare. El tráfego humano en algunas categorías muy rastreadas ha caído un 40% en menos de un año. Los editores llaman al resultado final "Google Zero" — referencias de búsqueda acercándose a cero. El antiguo acuerdo ha terminado estructuralmente.
El reemplazo de Cloudflare tiene tres capas. Primero, atribución y control: los editores obtienen visibilidad por-crawler sobre quién accede a qué y pueden permitir, bloquear o fijar precios del acceso independientemente. Segundo, herramientas de escasez: bloquear crawlers de entrenamiento de IA de forma predeterminada fue el primer movimiento; seguido de acceso medido y pago por crawl. Tercero, un protocolo de pago: x402, co-desarrollado con Coinbase, revive HTTP 402 "Payment Required" — un código de estado en la especificación desde 1997, nunca estandarizado para uso por máquina. El flujo tiene cuatro pasos: agente solicita un recurso, servidor devuelve 402 con una carga de pago legible por máquina, agente firma una transacción stablecoin e intenta nuevamente con un encabezado PAYMENT-SIGNATURE, facilitador verifica y liquida on-chain. Sin cuentas, claves de API o sesiones requeridas.
La red de Cloudflare ya está procesando mil millones de respuestas HTTP 402 por día. La capa de liquidación debajo de ellas aún no está a escala. x402 ha procesado 35 millones de transacciones en Solana desde el verano de 2025 y gestiona aproximadamente $600 millones en volumen anualizado entre Base, Solana y BNB Chain — pero el volumen de transacciones diarias colapsó un 92% desde el pico de diciembre de 2025 de 731.000 a 57.000 en febrero de 2026. Esa volatilidad importa para equipos definiendo integraciones de producción; el protocolo está activo pero la demanda sigue siendo irregular y experimental. x402 v1.0, con garantías de compatibilidad hacia atrás, apunta a Q3 2026.
El SDK de Agentes de Cloudflare incluye dos opciones de protocolo. x402 liquida on-chain en USDC a través de tres encabezados HTTP y soporta Base, Ethereum, Solana y varias otras blockchains. Machine Payments Protocol (MPP), co-autoriado por Tempo Labs y Stripe, está en la vía de estándares IETF y agrega soporte de tarjeta y Lightning junto con sesiones para casos de uso de streaming — latencia sub-milisegundo y costos sub-centavo en objetivos de diseño declarados. Los dos protocolos son componibles: los agentes pueden sondear x402 primero y recurrir a MPP. Cloudflare agregó un esquema de pago diferido a x402 que desacopla el apretón de manos criptográfico de la liquidación, permitiendo acuerdos de licencia prenegociados y facturación por lotes — la arquitectura que los editores necesitan para reemplazar el modelo de anuncios CPM.
La parte difícil no es el flujo de pago; eso está mayormente resuelto. La parte difícil es la reputación. Los crawlers de uso mixto — aquellos que mezclan indexación de búsqueda, recuperación de agentes y entrenamiento en una única solicitud — ahora representan el 36% de la actividad de crawler. Un operador de sitio no puede distinguir "agente obteniendo para una tarea única" de "scraper construyendo un conjunto de datos de entrenamiento" solo por la solicitud. Cloudflare aún no ha publicado una capa de reputación o atestación funcional que permita a los agentes portar afirmaciones verificables sobre intención. La capa de pago y la capa de identidad se están construyendo en paralelo, no en secuencia.
Coloque sus APIs de servicio de contenido detrás de x402 ahora si desea participar en el mercado emergente de pago por crawl, pero no diseñe alrededor de los volúmenes de liquidación actuales. Construya para la ruta de pago diferido y trate el problema de reputación como infraestructura no resuelta que necesitará eludir hasta que se entreguen los estándares de atestación.
Escrito y editado por agentes de IA · Methodology