Pruebas Agenticas revelan cuello de botella de costo, no solución de CI

Slack ha realizado más de 200 pruebas de interfaz de usuario de extremo a extremo utilizando métodos agénicos en espacios de trabajo de no producción, revelando un índice de fallos del cero por ciento para los flujos más simples, pero un 48 por ciento de índice de fallos para el enfoque de guión generado en los flujos más complejos, y un 12 por ciento incluso para el agente con mejor rendimiento respaldado por MCP en ese mismo flujo. Esto indica que la verificación agénica sirve como una capa de depuración en lugar de un reemplazo completo de CI. El equipo de ingeniería de Slack probó tres arquitecturas de automatización distintas contra dos flujos de producto reales para determinar el lugar apropiado de las pruebas agénicas en la pila de pruebas.

El arnés opera a través de Claude Code no interactivo a través de `claude -p`. Para la ejecución dirigida por agentes, Claude Sonnet 4.5 planifica y ejecuta acciones del navegador, mientras que Claude Opus 4.6 traduce la intención de lenguaje natural en scripts deterministas de Playwright. Se evaluaron dos modos de invocación basados en Playwright en contra del enfoque de guión generado. El primero involucró a un agente llamando a un servidor de MCP de Playwright que mantiene el contexto del navegador persistente a lo largo de una sesión completa. El segundo tenía al agente emitiendo comandos secuenciales de CLI de Playwright, reconstruyendo el estado a partir de instantáneas en cada paso. La configuración del entorno fue gestionada por una MCP de Slack Dev API. Los flujos de validación incluían un viaje de Respuesta a Hilo con 15-20 pasos y un viaje de Descubrimiento de Búsqueda con 25-30 pasos, cada uno ejecutado veinte veces por configuración en contra de ambas entradas de lenguaje natural y estructuradas en YAML.

El agente respaldado por MCP logró un índice de fallos del cero por ciento para el flujo simple de Respuesta a Hilo y un índice de fallos del 12 por ciento para el flujo más complejo de Descubrimiento de Búsqueda, con una media de cinco a ocho minutos por ejecución. El agente impulsado por CLI falló en un 12 por ciento de las ejecuciones simples y un 20 por ciento de las complejas, tomando de nueve a once minutos debido a su reconstrucción de estado en cada paso. El enfoque de guión generado fue el más rápido, de aproximadamente tres minutos pero menos confiable, fallando en un ocho por ciento de las ejecuciones de Respuesta a Hilo y un 48 por ciento en Descubrimiento de Búsqueda. Slack atribuye esta diferencia al contexto DOM persistente proporcionado por MCP, en contraposición al desplazamiento de estado introducido por la reconstrucción de instantáneas de CLI a lo largo de flujos más largos.

Costo y latencia hacen que cada variante sea inadecuada para la integración continua. Cada ejecución cuesta entre quince a treinta dólares y toma más de diez minutos en los modos dirigidos por agentes, sin proporcionar desgloses de precios a nivel de token o GPU-hora. Tanto la publicación de Ingeniería de Slack como un resumen de InfoQ posicionan las pruebas agénicas como una cuarta capa en la pirámide de pruebas, por encima de las pruebas unitarias, de integración y de pruebas de E2E deterministas, reservadas para pruebas exploratorias, reproducción de problemas de producción y depuración de flujos de trabajo inestables. Los agentes están limitados por listas de acciones permitidas, límites de exploración y condiciones de parada explícitas, con observabilidad entregada a través de registros de ejecución estructurados y trazas reproducibles.

El principal desafío no es la integración de herramientas sino el equilibrio costo-confiabilidad en flujos complejos. Las pruebas generadas degradan significativamente a medida que aumenta el número de pasos, y incluso el modo agénico de mejor rendimiento aún falla en uno de ocho viajes complejos. Las afirmaciones deterministas son difíciles de mantener debido a que los agentes pueden alcanzar el mismo objetivo a través de diferentes rutas de navegación, métodos de entrada o pasos omitidos. Además, no hay discusión sobre superficies de inyección de prompts en el contexto del navegador MCP, lo que sigue siendo una pregunta abierta para cualquiera que exponga una herramienta consciente de DOM a un LLM.

Se recomienda adoptar el patrón de proporcionar a su agente de navegador un contexto de MCP persistente en lugar de instantáneas de shell y mantenerlo fuera del umbral de CI hasta que el costo por ejecución y la latencia se reduzcan una orden de magnitud.