BIGAI와 칭화대, 베이징대가 공동으로 제안한 TELEDEXTER는 손-물체 동시 추적형 제어기를 이용해 원격조작 중 물체 자세와 손끝 위치를 함께 맞추도록 설계했다. 이 논문은 인간의 손 안 조작을 본뜬 연속적 공동 추적 subgoal을 학습시키고, 이를 실제 로봇 손에 제로샷으로 옮기는 방법을 다룬다.
핵심은 프레임 단위 궤적 모사가 아니라, 인간 참고 동작에서 뽑은 연속 subgoal을 순서대로 달성하게 하는 점이다. 보상은 sparse한 subgoal 도달 보상과 dense tracking 보상을 결합했고, 단일 RL 단계로 학습했다. 여기에 random action masking과 domain randomization을 더해 시뮬레이션에서 학습한 정책을 실제 로봇에 바로 적용했다.
실험은 Franka FR3 팔에 LeapHand(4개 손가락, 16 DoFs)와 SharpaWave(5개 손가락, 22 DoFs)를 붙여 수행했다. 모션캡처로 조작자 손과 물체의 6D 자세를 추적했으며, 모든 teleoperation 평가는 30 Hz로 실행됐다. 비교군은 DexRT, GeoRT, DexGen, SimToolReal이었다.
SharpaWave에서 TELEDEXTER는 CylinderReorient, CuboidReorient, BunnyReorient, HammerUse, BrushSweep, ScrewdriverUse, BulbReplace의 7개 과제에서 평균 성공률 75.2%, 평균 task progress 87.1%를 기록했다. 같은 표에서 DexRT는 평균 5.7% SR, GeoRT는 0.0%, DexGen은 0.0%, SimToolReal‡은 6.7%였다. 재지향 과제에서는 66.7~80.0% SR, 공구 사용 과제에서는 66.7~86.7% SR을 보였다.
수집된 시연은 자율 정책 학습에도 쓰였다. BulbInstall, HammerDriver, BrushForward 3개 과제에 대해 각 50개의 expert demonstration으로 Diffusion Policy를 학습했고, 15회 실험에서 각각 46.7%, 73.3%, 40.0%의 성공률을 얻었다. 단계별로 보면 HammerDriver는 stage 2까지 15/15, BulbInstall은 정렬 단계에서 8/12, BrushForward는 grasp 단계에서 7/15로 막혔다.
| 과제 | TELEDEXTER SR/TP | 가장 높은 비교군 SR/TP | 비고 |
|---|---|---|---|
| CylinderReorient | 80.0 / 86.7 | DexRT 6.7 / 37.8 | SharpaWave, 15 trials |
| HammerUse | 66.7 / 86.7 | SimToolReal‡ 20.0 / 36.2 | SharpaWave, 15 trials |
| CuboidReorient | 80.0 / 86.7 | DexRT 26.7 / 51.1 | SharpaWave, 15 trials |
자료: STORIUM 정리
소거 실험에서는 연속 subgoal 추적이 dense frame-wise tracking보다 길게 유지됐고, random action masking을 제거하면 실제 성능이 떨어졌다. 예를 들어 HammerUse는 masking 사용 시 66.7/86.7, 미사용 시 33.3/57.1이었다. 한계로는 현재 객체별 정책이라 새 객체마다 인간 손-물체 데이터 수집과 전용 학습이 필요하고, 실제 배치는 모션캡처 시스템에 의존한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
