LangChain lanzó Tuned Evaluators, un servicio de evaluación administrado que adjunta automáticamente comentarios de calidad a traces de agentes en producción sin ajuste manual de indicaciones o costos de modelos frontier. El primer evaluador, Perceived Error, detecta conversaciones donde un agente malinterpretó una solicitud, cometió un error, o tomó la interacción en la dirección equivocada—tanto de señales explícitas (correcciones de usuario, rechazos) como inferidas (contradicciones, resultados sin resolver). El evaluador está disponible ahora para planes Plus y Cloud Enterprise de LangSmith en EE.UU.
Perceived Error utiliza un modelo especializado de LangChain post-entrenado en traces de conversación etiquetadas que superó cada modelo frontier en evaluación comparativa mientras reducía costo en hasta 82% (98% en algunas cargas de trabajo de socios tempranos). A diferencia de enfoques modelo-como-juez frontier, los equipos ya no necesitan escribir indicaciones, seleccionar jueces LLM o administrar infraestructura de inferencia—LangChain gestiona control de versiones, evaluación comparativa y administración de credenciales de extremo a extremo. Un hilo se vuelve elegible para evaluación después de al menos dos pares de mensajes humano-IA y un período inactivo, con resultados adjuntos en 12 horas.
Para constructores de agentes: la evaluación de calidad a escala de producción es una palanca bloqueadora para mejora de agentes. La mayoría de los usuarios nunca envían calificaciones explícitas, por lo que Perceived Error (inferencia de errores a partir de señales de conversación) es un proxy de mayor fidelidad que estrellas de usuario. La reducción de costo del 82% frente a jueces frontier hace que la evaluación continua sea viable para equipos conscientes de costos; Vanta (socio temprano) lo describe como una "red de seguridad para detectar modos de falla desde el primer día" mientras se construyen evaluadores específicos del dominio. Este patrón—evaluadores listos para usar + ajuste fino específ ico del equipo—se está convirtiendo en el flujo de trabajo estándar de desarrollo de agentes.