홍유 리(Hongyu Li), 윤주 리(Yunzhu Li), 스리나스 스리다르(Srinath Sridhar) 등 연구진이 로봇이 옷이나 음식처럼 형태가 변하는 물체를 다루는 법을 학습할 수 있도록 대규모 시각·촉각 데이터셋 ‘Deform360’을 공개했다. 로봇이 물체를 조작할 때의 움직임을 예측하는 ‘월드모델’ 연구에서, 변형 가능한 물체는 상태 공간이 방대하고 물성이 복잡해 특히 다루기 어려운 과제로 꼽혀 왔다.
연구팀은 현재 월드모델 연구가 2차원 픽셀 공간에서 동역학을 학습하는 방식과 3차원 기하 공간에서 명시적으로 학습하는 방식, 두 갈래로 나뉘어 있지만 이들 간 상대적 강점과 한계를 체계적으로 비교할 만한 대규모 실세계 데이터가 부족했다고 지적했다. 이를 해결하기 위해 구축한 Deform360은 일상 속 물체 198종을 대상으로 1980개의 상호작용 시퀀스, 215시간 이상의 관측 데이터를 담았다. 41대의 서라운드뷰 카메라와 양손 촉각 그리퍼를 동원해 물체의 전역적인 움직임과 접촉으로 인한 국소적 변형을 동시에 포착했다는 게 특징이다.
연구팀은 마커 없이 촉각과 시각 정보를 결합해 조밀한 기하 정보와 움직임을 추출하는 새로운 3차원 추적 파이프라인을 개발해 이를 데이터 구축에 활용했다. 이 데이터를 바탕으로 현재 최고 수준의 월드모델들을 평가해 2차원 영상 기반 모델과 3차원 파티클 기반 모델의 성능을 비교 분석했다. 아울러 변형 물체에 대한 로봇 계획(planning) 작업에 데이터셋을 적용한 예비 실험을 통해 실제 활용 가능성도 확인했다고 밝혔다.
연구팀은 이번 작업을 통해 구조적 사전 지식(prior)과 확장성 사이의 상충 관계에 대한 핵심적인 통찰을 얻었다고 설명했다. Deform360은 일반화 가능한 변형체 중심 월드모델링 연구를 위한 견고한 벤치마크가 될 것이라는 게 연구팀의 기대다. 데이터셋과 관련 자료는 프로젝트 웹사이트를 통해 공개됐다.
