Bucle de Planificación Dual Resuelve el Vacío Semántico en Robots Jerárquicos

Cortex, un marco de agente encarnado alineado bidireccional presentado en un nuevo documento de arXiv, supera a las bases de línea de Visión-Lenguaje-Acción (VLA) monolíticas en un 3.1% en Libero-long y un 4.1% en RoboTwin. Esta mejora se logra reemplazando la ceguera markoviana de un solo paso de la VLA convencional por un bucle de planificación persistente de dos modelos. La afirmación central del marco es que la manipulación de largo horizonte falla no debido a la incapacidad de los modelos de visión-lenguaje para planificar, sino porque las VLA carecen de estado persistente y sufren de un vacío de traducción semántico a cinemático en sistemas duales jerárquicos.

La pila de Cortex es explícitamente jerárquica, con un VLM generalista que maneja la descomposición de tareas de alto nivel y una VLA afinada al dominio que ejecuta la manipulación de bajo nivel. A diferencia de los sistemas que emiten instrucciones de texto libre, Cortex co-diseña la interfaz de planificación en torno a 32 primitivas de habilidades canónicas, que el VLM emite y la VLA consume directamente. La retroalimentación del estado de ejecución al planificador crea un bucle cerrado, una característica ausente en las VLA monolíticas que solo observan el marco actual e ignoran el historial. Esta alineación bidireccional es la innovación arquitectónica clave, ya que los enfoques de sistemas duales anteriores permitían que el planificador razonara en lenguaje mientras que el ejecutor razonaba en espacio de articulaciones, lo que llevaba a desequilibrios.

Los datos de entrenamiento se obtienen a partir de la anotación automática de más de 4,000 horas de video de código abierto, complementados por 30 horas de datos de simulación. Los autores aplican principios de tractabilidad en la generación, asegurando que las trayectorias anotadas sean físicamente plausibles. Se utiliza una estrategia de muestreo equilibrada por eventos, sobreponderando deliberadamente los marcos ambiguos en los límites de sub-tareas donde a menudo fallan las transiciones del plan. En la inferencia, el contexto de la tarea y las restricciones de habilidades se inyectan para podar el espacio de acciones de la VLA, permitiendo la generalización real-world sin disparos. El VLM generalista dirige a una VLA afinada a través de experimentos químicos multietapa sin visto, un logro que los autores afirman que es imposible con el afinamiento de VLA de extremo a extremo solo.

Cortex sigue en la etapa de investigación sin evidencia de producción. Los autores no revelan la latencia de inferencia para el bucle bidireccional, el presupuesto de entrenamiento de horas de GPU, el costo por tarea o las métricas de rendimiento para la transferencia entre planificador y ejecutor. La dependencia de un gran corpus de video sobre la simulación sugiere una preferencia por la anotación sin conexión sobre la costosa iteración sim-to-real. Se validaron evaluaciones de sistemas de VLM de bucle abierto y de sistemas de bucle cerrado, pero ninguna refleja las restricciones de servicio en el mundo real.

Operar dos modelos de fundación en un bucle cerrado conlleva un costo de integración alto, con dos pilas de inferencia, dos perfiles de inicio en frío y una interfaz de planificación limitada a 32 primitivas de código duro. Se requiere redefinir el vocabulario y volver a anotar el corpus de video para las tareas que requieren habilidades no enlistadas. La estrategia de muestreo equilibrada por eventos indica que la ambigüedad en la transición de sub-tareas sigue siendo un modo de fallo. Los resultados de química sin disparos se demuestran pero no se medirían a gran escala, y el pie de 30 horas de simulación plantea preguntas sobre la transferibilidad de la VLA a dinámicas ricas en contacto fuera del laboratorio.

El mensaje clave es el enfoque de forzar al planificador de alto nivel para que razonara en el vocabulario cinemático exacto aceptado por el ejecutor de bajo nivel, eliminando la capa de traducción semántica destructiva que afecta a la mayoría de las pilas de robots jerárquicos.