DemoBridge는 인간 손의 단일 시점 RGB 또는 stereo 시연을 로봇 팔 궤적으로 옮길 때 목표 자세의 역기구학 해만 찾지 않는다. 대체 grasp, 팔과 잡힌 물체의 충돌, 시연 경로 추종을 한 계획기에서 처리하고 시뮬레이션으로 단계마다 실행 가능성을 검사한다. 실패하면 이전 상태로 돌아가 재계획하는 arXiv:2607.09519v1의 툴킷이다.
먼저 Franka 팔과 절차적으로 만든 혼잡한 탁상 장면 50개로 계획기만 평가했다. 참조 경로가 없는 조건에서 평균 최종 오차는 base 3.2 mm, attach 3.3 mm였고 두 버전 모두 충돌이 0/50이었다. 참조 경로 조건은 4.6 mm와 3.0 mm, 충돌은 각각 1/50과 0/50이었다. single-stage 변형은 같은 참조 경로의 base 조건에서 29/50이 충돌했다.
전체 파이프라인은 mug-on-plate, cup-stack, pour-milk 세 실제 과제에서 각각 10개 손 시연으로 시험했다. RECGEN, FOUNDATIONPOSE, MEDIAPIPE를 인식 백엔드로 썼고 비교 대상은 재구현한 YOTO†와 RoboWheel†였다.
저자 방식의 누적 성공 수는 mug-on-plate에서 reach·grasp·transport·place가 8/10·8/10·8/10·6/10, cup-stack은 9/10·9/10·9/10·7/10, pour-milk는 8/10·8/10·8/10·7/10이었다. 도달 한계 근처의 좁은 feasible set, 바닥 근처 장애물, 지지 물체, 부정확한 자세 추정이 단계별 실패 원인으로 제시됐다.
| 실제 과제(저자 방법) | Reach | Grasp | Transport | Place |
|---|---|---|---|---|
| Mug-on-plate | 8/10 | 8/10 | 8/10 | 6/10 |
| Cup-stack | 9/10 | 9/10 | 9/10 | 7/10 |
| Pour-milk | 8/10 | 8/10 | 8/10 | 7/10 |
자료: STORIUM 정리
가장 큰 병목은 손에 가려진 물체를 프레임마다 추적하는 6D pose tracker다.
현재 solver는 단일 팔만 지원한다. 합성 장면 50개와 실제 과제 30개 시연의 결과만으로 다른 물체·로봇·촬영 조건까지 실행 가능성을 일반화할 수는 없다.
저작권자 © STORIUM 무단전재 및 재배포 금지
