코넬대와 아마존 FAR 연구진이 한 번의 사람 시연으로 접촉이 복잡한 도구 사용을 배우는 REGRIND를 제안했다. 사람 손 자세만 닮게 만드는 대신 손과 물체 사이의 공간·접촉 관계를 보존한 로봇 기준 궤적을 만들고, 이를 운동 선행정보이자 강화학습의 재시작 분포로 사용한다.
파이프라인은 손·물체 3차원 움직임을 로봇 손으로 재표적화한 뒤 물체 표면의 핵심점 궤적을 추종하는 잔차 PPO 정책을 Isaac Sim에서 학습한다. 초기 물체 위치를 x·y축 ±5cm, z축 회전을 ±30도로 흔들고 중력과 무작위 밀기 강도를 단계적으로 높인다. 마찰·질량·관측 지연도 무작위화한 뒤 별도 실기 미세조정 없이 배치한다.
평가는 16자유도 LEAP 손과 20자유도 WUJI 손을 7자유도 UR5e 팔에 달아 가위와 드라이버를 조작하는 네 조합에서 진행했다. 시뮬레이션 비교는 제안법과 주요 기준선을 3개 시드, 시드당 1024회로 평가했고 SPIDER는 5개 시드를 썼다.
제안 정책은 네 과제에서 낮은 핵심점 오차와 거의 완전한 성공률을 보였다. 실험 근거는 동료검토 전 프리프린트 arXiv:2607.11874에서 확인했다.
실기에서는 LEAP-가위, LEAP-드라이버, WUJI-드라이버 세 과제로 전이가 됐지만 WUJI-가위는 모든 방법이 실패했다. 논문은 비역구동 모터와 부정확한 가위 메시가 시뮬레이션 격차를 키웠다고 분석했다. 성공한 과제의 위치·방향 교란 시험은 한 시연 범위를 넘어선 초기 조건에서도 동적 증강의 효과를 확인했다.
| 로봇 손·도구 | 실기 전이 결과 |
|---|---|
| LEAP·가위 | 성공 |
| LEAP·드라이버 | 성공 |
| WUJI·드라이버 | 성공 |
| WUJI·가위 | 모든 방법 실패 |
현재 정책은 배치 시 물체 자세를 모션캡처로 받아야 하고, 과제는 두 도구와 두 손에 한정된다. 접촉 마찰과 기구 오차에 민감해 시뮬레이션 성공이 실기 성공을 보장하지 않는다는 실패 사례도 명확하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
