로봇이 가위나 드라이버처럼 관절이 있는 도구를 사람처럼 집어 조작하는 것은 현재 로봇공학에서 가장 어려운 과제 중 하나다. 관절형 도구는 물체 내부의 자유도를 함께 제어해야 하고, 접촉이 많아 물리적 복잡성이 크기 때문이다. 이러한 난제를 풀기 위해 연구팀이 컴퓨터 애니메이션 기법을 로봇 학습에 접목한 프레임워크 Mana(Manipulation Animator)를 제안했다.
Mana는 시뮬레이션에서 학습한 정책을 실제 로봇에 그대로 적용하는 심-투-리얼(sim-to-real) 방식을 채택한다. 핵심은 ‘거친 것에서 세밀한 것으로’ 나아가는 다단계 파이프라인으로, 절차적으로 생성된 파지(grasping) 키프레임을 출발점으로 삼아 모션 플래닝과 강화학습을 결합해 조작 궤적을 완성한다. 도구의 기능적 어포던스(affordance)를 지정하는 데 마우스 클릭 몇 번이면 충분하며, 도구 한 개당 데이터 준비 시간이 1분 미만으로 데이터 생성 과정이 사실상 자동화된다.
연구팀은 크기와 관절 유형이 서로 다른 네 종류의 도구를 대상으로 실험을 진행했다. Mana는 시뮬레이션 환경에서 한 번도 보지 못한 실제 도구에 대해서도 파지와 인-핸드 조작 모두에서 제로샷(zero-shot) 실물 전이를 달성했다. 기존 연구 대부분이 단단한 물체에만 집중한 반면, Mana는 관절형 도구라는 더 복잡한 영역을 다루면서도 추가적인 실물 데이터 수집 없이 성능을 입증했다는 점에서 주목할 만하다.
관절형 도구 조작 능력은 산업 자동화, 수술 보조 로봇, 가정용 서비스 로봇 등 다양한 분야에서 필수 기술로 꼽힌다. Mana가 제안한 애니메이션 영감의 파이프라인이 실용화 단계로 이어진다면, 복잡한 실물 작업을 수행하는 범용 로봇 손의 학습 효율을 크게 높일 수 있을 것으로 연구자들은 기대한다.
