사람의 시점에서 찍힌 조작 영상은 로봇 학습에 유용한 감시 신호가 될 수 있지만, 실제로는 저비용 연속 수집과 구조화 주석, 재사용 가능한 학습 도구를 함께 갖춘 자원이 드물다. arXiv 프리프린트로 올라온 Open-AoE는 이 공백을 메우기 위해, 스마트폰 수집부터 모델 학습까지 이어지는 전체 흐름을 하나의 개방형 데이터셋과 툴체인으로 묶었다.
첫 공개판에는 자연 환경에서 500명 넘는 기여자가 400대 이상 스마트폰을 써서 모은 약 2,000시간 분량의 조작 영상이 들어 있다. 공개된 그림과 설명에 따르면 이 자료는 400개 이상 장치 유형, 400개 이상 장면, 8,000개 이상 과업을 포괄하며, 데이터 수집과 처리, 하위 학습 도구를 각각 모듈처럼 분리해 운용하도록 설계됐다.
구성은 단순한 영상 묶음에 머물지 않는다. 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 시간적으로 국소화된 원자 행동이 함께 제공되며, 원시 녹화본은 시간 구간 분할, 의미 주석, 손 재구성, 카메라 궤적 재구성을 거쳐 구조화된 샘플로 바뀐다. 현장 수집 단계에서는 기기 내 실시간 탐지와 제어로 손-물체 상호작용이 담긴 클립만 남기도록 했고, 이후에는 품질 검사와 장면 라벨링, 재구성, 최종 전달의 3단계 품질 점검을 둔다.
논문은 기존 egocentric 조작 데이터셋들과의 비교도 제시한다. 표 1에서 Open-AoE는 2,000시간, 8,000개 이상 과업, 500명 이상 참가자, 400종 이상 수집 장치, MANO 손 신호, 재타기팅, 학습 지원을 제시하며, 다른 데이터셋들은 일부 항목이 비어 있거나 제한적이다. 단, 각 데이터셋의 작업 수는 출처별 정의가 달라 직접 비교할 수 없다고 명시한다.
연구진은 데이터 특성도 따로 점검했다. 3,000회의 균형 무작위 시험에서 데이터셋마다 2,000개의 임베딩을 비복원 추출해 비교했고, 그림 7과 8에서는 의미적 범위, 시간 주석 밀도, 시퀀스 수준 일관성을 평가했다. 예를 들어 Open-AoE의 평균 시퀀스 일관성 점수는 4.58이며 95% 부트스트랩 신뢰구간은 [4.557, 4.608]이다. 또 85.4%의 시퀀스가 평균 4점 이상을 받았고, 2점 이하 비율은 2.2%라고 적었다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 첫 공개판 규모 | 약 2,000시간의 조작 영상, 500명 이상 기여자, 400대 이상 스마트폰 | p.1 | source_excerpt |
| 데이터 구성 | 텍스트 주석, MANO 기반 손 자세, 카메라 궤적, 시간적으로 국소화된 atomic actions | p.1 | source_excerpt; p.5 | source_excerpt |
| 일관성 평가 | Open-AoE 평균 4.58, 95% bootstrap CI [4.557, 4.608], 85.4%가 4점 이상, 2.2%가 2점 이하 | p.16 | source_excerpt |
| 품질 지표 | 100% valid boxes, 98.39% fully contained, mean confidence 0.947, 10th-percentile confidence 0.950 | p.18 | source_excerpt |
자료: STORIUM 정리
마지막으로 이 자원은 시각화, 교차 체화 재타기팅, 모델별 데이터 변환, VLA 정책·WAMs·World Models용 훈련 레시피를 지원하는 별도 도구체인까지 포함한다. 저장소 설명에는 EgoInfinity와 Do-as-I-Do용 재구성 인터페이스, G1·Galbot/Galaxea·Sharpa·XHand용 재타기팅 백엔드, 시뮬레이션과 egoview 합성이 통합돼 있다고 되어 있다. 결론부는 이 구성이 실제 세계 egocentric 조작 데이터와 모델까지 이어지는 개방형 인프라라고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
