허깅페이스가 오픈소스 로봇학습 프레임워크 ‘르로봇(LeRobot)’의 새 버전 v0.6.0을 공개했다. 이번 업데이트의 핵심은 미래 상황을 예측하며 학습하는 ‘월드모델’ 계열 정책을 처음으로 포함시켰다는 점이다. 새로 추가된 VLA-JEPA, 패스트웜(FastWAM), 링봇-VA(LingBot-VA) 세 모델은 모두 미래 프레임이나 행동을 예측하는 과정을 학습에 포함시키되, 실제 추론 단계에서는 예측 부담을 없애 별도 비용 없이 성능을 끌어올리는 방식을 택했다.
VLA-JEPA는 콴3-VL 2B 모델을 기반으로 한 경량 비전-언어-행동(VLA) 모델로, 학습 중에는 잠재 공간에서 미래 프레임을 예측하도록 훈련되지만 추론 시에는 이 예측 모듈이 사라져 추가 연산 비용이 들지 않는다. 링봇-VA는 한 걸음 더 나아가 미래 영상과 행동을 함께 예측하며 실제 관측값을 다시 피드백으로 받아들이는 자기회귀 구조를 갖췄고, 로봇이 상상한 영상을 저장해 실제 결과와 비교할 수 있는 기능도 제공한다. 패스트웜은 약 50억 파라미터급 영상 생성 모델과 소형 행동 모델을 하나의 네트워크로 결합해, 학습 때는 스스로 미래를 상상하지만 추론 시에는 이 과정을 건너뛰고 행동을 바로 산출한다.
이번 버전은 GR00T N1.7, 몰모액트2(MolmoAct2), EO-1, EVO1, 멀티태스크 DiT 등 여러 VLA 모델도 새로 통합했다. 엔비디아의 크로스-임보디먼트 파운데이션 모델인 GR00T는 N1.7로 업그레이드되면서 콴3-VL 기반의 코스모스-리즌2 비전언어모델을 장착했고, 앨런AI연구소가 개발한 몰모액트2는 파인튜닝부터 평가, 실제 로봇 배포까지 전체 과정이 르로봇에 이식됐다. 이와 함께 로봇의 작업 진행도와 성공 여부를 판단하는 ‘보상모델’ API도 새로 도입됐다. 로보미터(Robometer)는 콴3-VL 4B 기반으로 100만 개 이상의 로봇 궤적 데이터를 학습해 특정 작업에 국한되지 않고 범용적으로 성공 여부를 채점하며, 톱리워드(TOPReward)는 별도 학습 없이 기성 비전언어모델의 확률값만으로 보상 신호를 만들어내는 완전 제로샷 방식을 취한다.
데이터셋 측면에서도 개선이 이뤄졌다. 인텔 리얼센스 카메라를 연결하면 깊이 정보를 촬영·저장할 수 있게 됐고, 비전언어모델이 영상을 보고 자동으로 언어 주석을 붙이는 ‘lerobot-annotate’ 명령도 새로 추가됐다. 데이터 로딩 속도는 최대 2배가량 빨라졌으며, 대규모 데이터셋에서 일부 에피소드만 불러오는 작업은 275초에서 0.06초로 단축됐다고 허깅페이스는 밝혔다. 평가 체계도 강화돼, LIBERO-plus·로보트윈2.0·로보카사365 등 6종의 새로운 시뮬레이션 벤치마크가 단일 명령어(lerobot-eval)로 통합됐고, 기존 벤치마크까지 합치면 총 9개 벤치마크 계열을 하나의 체계 아래 평가할 수 있게 됐다.
실제 배포 워크플로도 새로워졌다. 새로 추가된 ‘lerobot-rollout’ 명령은 정책 실행 전략을 다양화해, 사람이 실시간으로 개입해 잘못된 동작을 직접 시연으로 교정하는 다거(DAgger) 방식의 데이터 수집까지 지원한다. 대규모 모델 학습을 위한 완전 샤딩 데이터 병렬(FSDP)도 지원되며, 허깅페이스의 클라우드 작업 서비스(HF Jobs)를 통해 GPU 없이도 로봇 정책을 학습할 수 있는 경로가 마련됐다. 허깅페이스는 이번 버전으로 기본 설치 의존성을 약 40% 줄이는 등 코드베이스 경량화 작업도 함께 진행했다고 설명했다.
