오프로드 자율주행은 조명 변화가 크고 지형이 거칠어 단일 RGB 입력만으로는 안정적인 주행을 기대하기 어렵다. 인도 IISc의 Ahaan Kotian, Shivani Subramanyan, Suresh Sundaram가 쓴 arXiv v1 프리프린트 2607.12965는 이런 조건을 겨냥해 MAMMOTH를 제안한다. 이 정책은 RGB, Thermal, 3D Pointcloud, Ego Velocity를 함께 받아 오프로드의 visual-goal-conditioned navigation과 undirected exploration을 수행하도록 설계됐다.
분석에서는 sparse Mixture-of-Experts 기반 융합으로 모달리티별 정보를 섞고, 학습 때 random modality dropout을 써서 추론 시 일부 입력이 없어도 대응하도록 했다. 또 diffusion policy로 physically-grounded trajectories와 intrinsic traversability heuristic을 함께 학습한다. 이 heuristic은 온보드 IMU의 vertical, 즉 Z축 가속도 PSD에서 유도되며, 별도 사후 보정이 아니라 궤적의 조건으로 들어간다.
평가는 실제 로봇 Copernicus로 했다. 서로 다른 5곳의 실세계 오프로드 환경에서 day와 night 모두를 포함했고, 데이터는 공개 TartanDrive 2.0과 자체 수집 오프로드 데이터의 결합으로 9시간이 넘는다. 자체 데이터는 thermal LWIR와 저조도·야간 조건을 보완했으며, 온보드 추론은 NVIDIA Jetson Orin AGX와 ROS2 Humble에서 수행했다. 전방 추론은 2Hz, 로봇 평균 속도는 0.8m/s였다.
표 I에서 MAMMOTH의 탐색 성능은 day CR 0.7, UB 0.6, night CR 0.8, UB 0.75로 제시된다. 같은 표의 비교군은 NoMaD, NoMaD-FT, FlowNav, FlowNav-FT, Concat-fusion, Modified-NoMaD, MAMMOTH w/o Heuristic이다. Day 탐색에서 SR은 MAMMOTH와 MAMMOTH w/o Heuristic이 모두 33%였고, NoMaD는 17%, NoMaD-FT는 20%, FlowNav는 10%, FlowNav-FT는 12%, Concat-fusion은 14%, Modified-NoMaD는 25%였다. 밤 조건에서는 RGB-only 기준선이 운용되지 않았고, MAMMOTH가 실제 야간 주행을 포함한 결과를 냈다.
결손 모달리티 실험도 따로 했다. 표 II에서 None은 day CR/UB 0.7/0.6, night 0.8/0.75였다. RGB가 빠지면 day 1.1/1.0, night 0.8/1.5로 악화됐고, Thermal이 빠지면 day 0.8/1.0, night 0.5/1.25였다. 3D pointcloud가 빠졌을 때는 day 1.2/1.5, night 0.9/1.0, Velocity가 빠졌을 때는 day 0.75/0.75, night 0.9/1.0이었다. 표 III에서는 RGB에 Thermal을 더하면 day 1.5/0.8, night 1.5/1.0이었고, RGB에 3D pointcloud를 더하면 day 0.7/1.0, night 0.7/1.7이었다. All은 day 0.7/0.6, night 0.8/0.75였다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 학습 데이터 | TartanDrive 2.0 + 자체 오프로드 데이터, 9시간 이상 | IV. Datasets |
| 배치/추론 | NVIDIA Jetson Orin AGX, ROS2 Humble, 2Hz, 평균 속도 0.8m/s | IV. Implementation Details |
| 낮 탐색 성능 | MAMMOTH CR 0.7, UB 0.6 | Table I |
| 야간 탐색 성능 | MAMMOTH CR 0.8, UB 0.75 | Table I |
| 결손 모달리티 예시 | RGB missing: 낮 1.1/1.0, 밤 0.8/1.5; None: 낮 0.7/0.6, 밤 0.8/0.75 | Table II |
자료: STORIUM 정리
아키텍처 ablation에서는 16 experts, TopK=4, Laplace gating, per-modality router를 쓰는 설정을 Ours로 두었다. 표 IV에서 Ours는 day CR 0.7, UB 0.6, night CR 0.8, UB 0.75였다. Top-2는 day 1.5/1.3, night 1.8/1.5였고, Top-8은 day 1.2/0.8, night 1.4/1.5였다. Softmax gating은 day 1.0/0.8, night 1.2/0.75, Joint router는 day 1.3/1.8, night 1.3/1.8이었다. 이 논문은 실세계 오프로드, 야간, 결손 모달리티 조건에서 하나의 정책이 얼마나 버틸 수 있는지 실제 로봇으로 보여줬다.
저작권자 © STORIUM 무단전재 및 재배포 금지
