Robot Caltech Esquiva Bolas con una Precisión del 95% Usando Solo una Cámara

Investigadores del Caltech desplegaron un robot humanoide que esquiva bolas lanzadas en condiciones reales con una tasa de éxito del 95% utilizando solo una cámara RGB-D montada en la cabeza y segmentación semántica. El sistema, llamado PAC-MAN (Perception-Aware CBF-RL), se transfiere de forma cero-shot desde la simulación a un humanoide Unitree G1, manteniendo garantías de seguridad incluso cuando la visión del robot es imperfecta. Esto resuelve uno de los problemas más difíciles en el despliegue de IA física: mantener propiedades formales de seguridad cuando la percepción no es confiable.

PAC-MAN acopla funciones de barrera de control (CBFs) con aprendizaje por refuerzo en tiempo de entrenamiento. Una CBF define un "conjunto seguro" en el espacio de estados y obliga al controlador a permanecer dentro de él. En el caso de PAC-MAN, la restricción cubre el espacio libre para cada eslabón del cuerpo del robot, no solo el torso. Durante el entrenamiento, la política recibe orientación completa de la CBF respaldada por información privilegiada del estado de la bola. En la inferencia en hardware, ninguno de ese estado privilegiado existe: el robot solo ve profundidad enmascarada por segmentación desde una cámara fija montada en la cabeza. El prior de movimiento adversarial incorporado en el entrenamiento mantiene los reflejos evasivos físicamente plausibles bajo esta entrada degradada.

El equipo evaluó dos variantes de CBF con diferentes compensaciones. Joint-CBF calcula restricciones de barrera a nivel de junta y tiene el mejor desempeño cuando las estimaciones del estado de la bola son precisas, pero se degrada bajo observaciones de cámara fija. Link-CBF calcula el espacio libre a nivel de eslabón, es más simple y tolera la percepción imperfecta lo suficientemente bien para el despliegue real. La degradación de Joint-CBF bajo sensado ruidoso revela una dependencia estructural: las formulaciones de barrera más ricas requieren estimaciones de estado más limpias. Agregar un gimbal de seguimiento de bola o un filtro en tiempo de ejecución recupera el desempeño de Joint-CBF, útil si su presupuesto de hardware lo permite.

En el benchmark, Link-CBF con solo una cámara fija embarcada se acercó a algunos puntos de un oráculo con trayectoria de bola con verdad fundamental completa. Esa brecha cuantifica lo que se pierde al reemplazar la estimación precisa del estado con una sola cámara y una máscara de segmentación. El benchmark cubrió dos regímenes: lanzamientos aislados únicos y operación continua con el robot caminando de regreso a su estación entre lanzamientos.

La transferencia sim-to-real cero-shot al Unitree G1 es el resultado clave para los profesionales. La política nunca fue ajustada en hardware. La tasa de evasión del 95% en lanzamientos reales con segmentación semántica manejando diferentes tipos de bola es desplegable como línea base. La tasa de fallo del 5% en lanzamientos reales con una cámara monocular fija es la línea base a superar.

La integración de CBF en tiempo de entrenamiento de PAC-MAN sigue el trabajo anterior en CBF-RL del equipo (arXiv 2510.14959): incorporar la restricción de seguridad en la política durante el entrenamiento para que la internalice, en lugar de agregar un filtro en tiempo de ejecución que resuelva un QP en cada paso de control. Los filtros en tiempo de ejecución son computacionalmente costosos en hardware embarcado e impiden que la política descubra comportamientos eficientes porque la exploración se poda demasiado agresivamente. La integración en tiempo de entrenamiento requiere comprometerse con una variante de CBF antes de saber exactamente cuál será la calidad de percepción del despliegue. Por eso la comparación Joint-CBF vs Link-CBF es el resultado más operativamente útil en este artículo.

Para arquitectos que diseñan agentes físicos críticos en seguridad: la elección de la formulación de CBF es inseparable de su pila de sensores. Si no puede garantizar estimaciones de estado limpias en la inferencia, una barrera a nivel de eslabón más simple con requisitos de observabilidad más bajos superará una formulación a nivel de junta más rica en producción.