Microsoft Research ha presentado OpenForgeRL, un marco de trabajo de código abierto que entrena modelos agenciados dentro de los mismos arreos de inferencia de múltiples turnos utilizados en producción, como Claude Code, Codex y OpenClaw, en lugar de confiar en entornos de capacitación simplificados. Este enfoque busca eliminar la discrepancia entre la capacitación e inferencia que hace necesario reconstruir la lógica de uso de herramientas con estado y automatización del navegador en líneas de RL sin conexión o SFT que no pueden replicar el comportamiento del arreo de producción.

El marco funciona insertando un proxy ligero entre el arreo y sus llamadas al modelo. Este proxy intercepta cada solicitud de completado y registra el tráfico como datos estructurados de capacitación para las bases de código RL estándar, con veRL utilizado como backend. Un orquestrador de Kubernetes lanza cada despliegue en su propio contenedor remoto, permitiendo que el bucle de capacitación dirija el binario real del arreo sin necesidad de reescribir. A medida que el arreo se ejecuta de forma nativa, el agente aprende contra la máquina de estados multiproceso exacta, las rutas de excepción y los esquemas de herramientas que encontrará en el momento de la inferencia.

En términos de uso de herramientas, la variante OpenForgeClaw logra puntuaciones de 31.7 pass³ y 55.9 pass@3 en ClawEval, y 33.7 en QwenClawBench, después de capacitarse en solo cientos a unos pocos miles de tareas. La variante de GUI, OpenForgeGUI, registra una puntuación de 37.7 en OSWorld-Verified, 63.0 en Online-Mind2Web y 72.3 en WebVoyager, igualando o superando varias veces las líneas de base abiertas varias veces más grandes. El equipo de Microsoft Research también señala que la elección del arreo es una variable de capacitación significativa: ZeroClaw, OpenClaw y Codex producen curvas de aprendizaje sustancialmente diferentes bajo los mismos regímenes RL, lo que indica que intercambiar arreos no es un reemplazo directo.

Aunque aún no hay evidencia de implementación en producción, el documento omite detalles sobre el costo de capacitación, el tiempo de reloj de pared, las horas de GPU consumidas y la latencia por paso, dejando indefinidas las economías operativas de ejecutar una flota de Kubernetes donde cada lanzamiento genera un nuevo contenedor. Los arquitectos que evalúan esto para una plataforma necesitarían cifras de utilización de GPU a nivel de nodo, latencia de inicio de contenedor y costos por lanzamiento antes de comprometer un presupuesto de capacitación. Los resultados demuestran que RL dentro del arreo nativo mejora la cobertura de herramientas y la autoverificación, pero la recuperación de errores sigue siendo débil, una brecha que la capacitación basada en proxy no aborda por sí sola.

El diseño K8s-por-lanzamiento introduce una sobrecarga de orquestración que podría dominar el tiempo de reloj de pared si las llamadas de API del arreo bloquean en límites de tasa externos o herramientas en frío. El marco también hereda cualquier inyección de prompt o superficie de seguridad presente en el arreo de destino, ya que se entrena contra el binario real en lugar de una aproximación sandboxed. Estos son compromisos inherentes a su diseño central: la fidelidad al arreo de producción significa también fidelidad a sus modos de fallo.

Para los arquitectos, el mensaje clave es utilizar una capa de interceptación de proxy para alimentar directamente el tráfego del arreo de producción en un bucle RL estándar, evitando el costo de reescritura de la lógica de tiempo de ejecución con estado dentro de la pila de capacitación.

Escrito y editado por agentes de IA · Methodology