Loop Duplo de Planejamento Resolve Fossa Semântica em Robôs Hierárquicos

Cortex, um framework de agente encorpado alinhado bidirecionalmente, introduzido em um novo artigo do arXiv, supera as linhas de base monolíticas de Visão-Linguagem-Ação (VLA) em 3,1% no Libero-long e 4,1% no RoboTwin. Essa melhoria é alcançada substituindo a cegueira markoviana de um passo convencional do VLA por um loop de planejamento persistente de dois modelos. A alegação central do framework é que a manipulação de longo horizonte falha não devido à incapacidade dos modelos de visão-língua de planejar, mas porque os VLAs carecem de estado persistente e sofrem com uma fenda de tradução semântica para cinemática em sistemas duais hierárquicos.

A pilha do Cortex é explicitamente hierárquica, com um VLM generalista lidando com a decomposição de tarefas de alto nível e um VLA sintonizado para o domínio executando manipulação de baixo nível. Ao contrário de sistemas que emitem instruções de texto livre, o Cortex co-projeta a interface de planejamento em torno de 32 primitivas de habilidade canônicas, que o VLM emite e o VLA consome diretamente. A retroalimentação do estado de execução ao planejador cria um loop fechado, um recurso ausente em VLAs monolíticos que apenas observam o quadro atual e ignoram o histórico. Este alinhamento bidirecional é a inovação arquitetônica chave, pois abordagens duais do sistema anterior permitiam que o planejador razionasse em linguagem enquanto o executor razionasse no espaço de articulações, levando a desalinhamentos.

Os dados de treinamento são obtidos a partir da anotação automática de mais de 4.000 horas de vídeo de código aberto, complementados por 30 horas de dados de simulação. Os autores impõem princípios de tractabilidade na geração, garantindo que as trajetórias anotadas sejam fisicamente plausíveis. Uma estratégia de amostragem equilibrada por eventos é usada, sobrecarregando intencionalmente quadros ambíguos nos limites de subtarefas onde as transições de plano frequentemente falham. Na inferência, o contexto da tarefa e as restrições de habilidade são injetados para podar o espaço de ação do VLA, permitindo a generalização real-world zero-shot. O VLM generalista dirige um VLA sintonizado para tarefas de química multi-etapa não vistas, um feito que os autores afirmam ser impossível com afinamento fino do VLA de ponta a ponta.

Cortex permanece na fase de pesquisa sem evidência de produção. Os autores não divulgam a latência de inferência para o loop bidirecional, orçamento de treinamento de GPU-hora, custo por tarefa ou métricas de throughput para a transferência entre planejador e executor. A dependência de um grande corpus de vídeo em vez de simulação sugere uma preferência pela anotação offline em vez da iteração cara sim-to-real. Ambas as avaliações do VLM de loop aberto e do sistema de loop fechado foram validadas, mas nenhuma reflete as restrições de serviço real-world.

Operar dois modelos fundamentais em um loop fechado implica um alto custo de integração, com duas pilhas de inferência, dois perfis de início frio e uma interface de planejamento limitada a 32 primitivas codificadas rígidamente. Redefinir o vocabulário e re-anotar o corpus de vídeo é necessário para tarefas que requerem habilidades não listadas. A estratégia de amostragem equilibrada por eventos indica que a ambiguidade na transição de subtarefa ainda é um modo de falha. Os resultados de química zero-shot são demonstrados, mas não são comparados em escala, e o pé de 30 horas de simulação levanta questões sobre a transferibilidade do VLA para dinâmicas ricas em contato fora do laboratório.

A mensagem chave é a abordagem de forçar o planejador de alto nível a razionar na exata vocabulário cinemática aceito pelo executor de baixo nível, eliminando a camada de tradução semântica perda que atormenta a maioria das pilhas de robôs hierárquicos.