Robô Caltech Desvia de Bolas com Precisão de 95% Usando Apenas uma Câmera

Pesquisadores do Caltech implantaram um robô humanoide que desvia de bolas lançadas em condições reais com uma taxa de sucesso de 95% usando apenas uma câmera RGB-D montada na cabeça e segmentação semântica. O sistema, chamado PAC-MAN (Perception-Aware CBF-RL), transfere zero-shot da simulação para um humanoide Unitree G1, mantendo garantias de segurança mesmo quando a visão do robô é imperfeita. Isso resolve um dos problemas mais difíceis na implantação de IA física: manter propriedades formais de segurança quando a percepção é pouco confiável.

PAC-MAN acopla funções de barreira de controle (CBFs) com aprendizado por reforço durante o treinamento. Uma CBF define um "conjunto seguro" no espaço de estados e restringe o controlador a permanecer dentro dele. No caso do PAC-MAN, a restrição cobre espaço livre para cada elo do corpo do robô, não apenas o torso. Durante o treinamento, a política recebe orientação completa da CBF apoiada por informações privilegiadas sobre o estado da bola. Na inferência em hardware, nenhum desse estado privilegiado existe: o robô vê apenas profundidade mascarada por segmentação de uma câmera fixa montada na cabeça. O prior de movimento adversarial incorporado no treinamento mantém os reflexos de evasão fisicamente plausíveis sob esse input degradado.

A equipe avaliou duas variantes de CBF com diferentes trade-offs. Joint-CBF computa restrições de barreira de nível de junta e tem o melhor desempenho quando as estimativas de estado da bola são precisas, mas se degrada sob observações de câmera fixa. Link-CBF computa espaço livre no nível de elo, é mais simples e tolera percepção imperfeita o suficiente para implantação real. A degradação da Joint-CBF sob sensoriamento ruidoso revela uma dependência estrutural: formulações de barreira mais ricas exigem estimativas de estado mais limpas. Adicionar um gimbal de rastreamento de bola ou um filtro de tempo de execução recupera o desempenho da Joint-CBF, útil se seu orçamento de hardware permitir.

No benchmark, Link-CBF com apenas uma câmera fixa embarcada ficou dentro de alguns pontos de um oráculo com trajetória de bola com verdade fundamental completa. Essa lacuna quantifica o que é perdido ao substituir estimativa de estado precisa por uma única câmera e máscara de segmentação. O benchmark cobriu dois regimes: lançamentos isolados únicos e operação contínua com o robô andando de volta para sua estação entre lançamentos.

A transferência sim-to-real zero-shot para o Unitree G1 é o resultado-chave para praticantes. A política nunca foi ajustada em hardware. A taxa de evasão de 95% em lançamentos reais com segmentação semântica tratando diferentes tipos de bola é implantável como baseline. A taxa de erro de 5% em lançamentos reais com uma câmera monocular fixa é o baseline para vencer.

A integração de CBF em tempo de treinamento do PAC-MAN segue o trabalho anterior em CBF-RL da equipe (arXiv 2510.14959): incorporar a restrição de segurança na política durante o treinamento para que ela internalize a restrição, em vez de acrescentar um filtro de tempo de execução que resolve um QP a cada passo de controle. Filtros de tempo de execução são computacionalmente caros em hardware embarcado e impedem a política de descobrir comportamentos eficientes porque a exploração é podada muito agressivamente. A integração em tempo de treinamento requer se comprometer com uma variante de CBF antes de saber exatamente qual será a qualidade de percepção da implantação. É por isso que a comparação Joint-CBF vs Link-CBF é o resultado mais operacionalmente útil neste artigo.

Para arquitetos projetando agentes físicos críticos em segurança: a escolha da formulação de CBF é inseparável de sua pilha de sensores. Se você não puder garantir estimativas de estado limpas na inferência, uma barreira de nível de elo mais simples com requisitos de observabilidade mais baixos superará uma formulação de nível de junta mais rica em produção.