로봇 학습에서는 중간 상태가 작업 완료에 얼마나 가까운지를 나타내는 밀집 진행 신호가 자주 쓰인다. 하지만 이런 라벨은 대규모 데이터에서 거의 없어서, 데모 안의 정규화된 시간을 대체값으로 쓰는 경우가 많다. 이때 시간은 에피소드 안에서 단조롭게 늘지만, 실제 물리적 진행은 미끄러짐, 실패한 집기, 부분적 되돌림 때문에 뒤로 갈 수 있다. 원논문은 이 시간 유래 라벨을 물리적 진행의 잡음 많은 대리값으로 본다.
논문이 제안한 UR-VC(Unsupervised Robotic Value Correction)는 한 궤적의 시간을 그대로 믿지 않고, 다른 에피소드에서 비슷한 상태를 찾아 그 시간 라벨을 모아 보정하는 오프라인, training-free 방법이다. 수작업 진행 라벨, 보상 주석, 추가 가치 모델은 필요 없다. 연구팀은 시연 데이터 내부의 반복 상태를 이용해, 서로 다른 에피소드에 흩어진 동일·유사 장면을 정렬해 보정값을 만든다고 설명한다.
평가는 실제 bimanual cloth flatten-and-fold 데이터에서 했다. 원문은 기본 분석에 150개의 실제 로봇 에피소드를 쓰고, 검색 풀을 104-episode scale까지 늘려 보았다. SigLIP-2 시각 임베딩으로 다른 에피소드의 유사 프레임을 찾되, 에피소드별로 최대 1개의 대표만 집계했다. 기본 임계값은 τ=0.3, 코사인 유사도 기준은 ρ=0.90이다.
150개 에피소드에서는 프레임의 98%가 다른 에피소드에서 유사도 0.90 이상의 이웃을 얻었고, 더 엄격한 0.955 기준에서는 69.9%가 덮였다. 검색 풀을 104개 에피소드 규모로 늘리면 커버리지는 0.90 기준 99.9%, 0.955 기준 90.4%까지 올랐다. 연구팀은 이 결과가 서로 독립적으로 모은 에피소드들 사이에 보정에 쓸 반복 상태가 충분히 많음을 보여준다고 해석한다. 또 검색된 프레임은 옷 색과 외형이 달라도 접힘 단계가 맞는 경우가 많았다고 보고한다.
보정 신호는 국소적 역행도 드러냈다. 전체 평가 집합에서 UR-VC는 13.4%의 프레임에 negative horizon advantage를 부여했고, 이는 시간 프록시가 놓치는 되돌림을 잡아낸다는 뜻이다. 같은 평가에서 보정된 진행값은 정규화 시간과의 전체 상관이 0.98로 높게 유지됐다. 또한 50개 에피소드에서 104-episode scale로 키우면 roughness(mean |∆2ĝt|)가 약 3분의 1 줄고, 커버리지는 96%에서 99.9%로 늘었다.
다운스트림 실험도 있었다. 5700개의 flatten-and-fold 데모와 1795개의 recovery 데모를 섞어 π0.5 백본의 advantage-conditioned VLA를 학습했고, 6개 조건에서 조건별 30회, 총 180회를 시험했다. 평균 성공률은 baseline 72.8%(131/180)에서 UR-VC 78.9%(142/180)로 올랐고, 6개 조건 중 5개에서 더 좋았다. 반면 blue-gray cloth에서는 50%에서 43%로 내려갔다. 이 arXiv v1 프리프린트는 시간 유래 라벨을 그대로 쓰기보다, 에피소드 간 상태 반복을 이용해 먼저 바로잡을 수 있음을 보인다.
| 항목 | 값 | 근거 |
|---|---|---|
| 기본 평가 데이터 | 150 real robot episodes | Fig. 2, Sec. IV-B |
| 커버리지(150 episodes, similarity ≥0.90) | 98% | Sec. IV-B; Fig. 2 |
| 커버리지(150 episodes, similarity ≥0.955) | 69.9% | Fig. 2 |
| 커버리지(104-episode scale, similarity ≥0.90) | 99.9% | Fig. 2 |
| 커버리지(104-episode scale, similarity ≥0.955) | 90.4% | Fig. 2 |
| 음의 horizon advantage 비율 | 13.4% | Fig. 1; Sec. IV-D |
| 다운스트림 평균 성공률 | Baseline 72.8% (131/180), UR-VC 78.9% (142/180) | Table I; Sec. IV-E |
자료: STORIUM 정리
저작권자 © STORIUM 무단전재 및 재배포 금지
