도심에서 무인항공기(UAV)가 움직이는 표적을 따라가려면, 대상만이 아니라 카메라 시점도 계속 바뀐다. 이 arXiv에 공개된 첫 원고는 나무, 건물, 도로 주변 물체가 시야를 가리는 상황에서 기존 vision-language-action(VLA) 정책의 성능이 쉽게 무너질 수 있다고 본다. 이에 맞춰 제안된 CosFly-VLA는 표적을 찾고, 보이는지 판단하고, 연속 비행 행동을 내는 구조를 함께 학습하는 방식이다.
학습은 4단계로 짜였다. 먼저 50만 개 혼합 풀에서 공간적으로 정렬된 continued pretraining(CPT)을 수행해 UAV 시점 깊이, 거리, 3차원 공간 추론을 넣었다. 이어 3단계 curriculum 기반 supervised fine-tuning(SFT)으로 멀티헤드 워밍업 뒤 자연 데이터와 가림이 길거나 심한 데이터를 나눠 다뤘다. 그 다음 chain-of-thought(CoT) 학습으로 복구 지향 추론 흔적을 익히게 했고, 마지막 closed-loop reinforcement learning(RL)에서 거리 유지, grounding 품질, 충돌 회피, 과업 성공을 함께 보상했다.
평가는 공유된 oracle state history 조건에서 이뤄졌다. 열린 고리(open-loop)에서는 OpenVLA와 비교해 CosFly-VLA-0.8B가 seen-test ADE를 34.1%, unseen-test ADE를 35.3% 낮췄다. Table 5에서 SFT+CoT 버전의 unseen-test ADE는 0.7175m로, OpenVLA의 1.0887m보다 낮았다. 같은 표에서 Vis F1은 0.659였다. 닫힌 고리(closed-loop)에서는 SR이 seen-test 29.8%p, unseen-test 2.5%p 향상됐다고 요약되며, Table 7에는 RL 버전의 SR이 74%(seen), 82%(unseen)로 적혀 있다.
수치의 맥락도 제한적으로 제시된다. open-loop ADE는 1회의 예측 창 길이 5프레임 held-out 윈도에서 계산됐고, First DE와 Final DE는 각각 1스텝 뒤와 Hc만큼 뒤의 유클리드 거리(m)다. closed-loop ADE는 UAV rollout 궤적과 expert/ground-truth 궤적 사이 평균 오차이며, dErr는 기준 거리 28m에서의 평균 절대 오차다. closed-loop 평가는 예측한 action chunk를 실행해 그 결과 관측을 다시 정책에 넣는 방식이다.
소거 실험에서는 SFT만 쓴 기준에서 curriculum, spatially grounded CPT, CoT를 차례로 더할수록 ADE가 줄었다. Table 7에 따르면 seen-test overall ADE는 0.8924m에서 최종 0.7175m로 내려갔고, unseen-test overall ADE도 0.7087m에서 0.5931m로 줄었다. 연구진은 현재 결과가 가시 프레임 모방에서 공간적으로 정렬된 closed-loop 제어로의 진전을 보여준다고 정리하지만, 예측 상태 피드백의 강건성, AirSim이나 실제 UAV 실험, 센서 잡음과 지연 적응은 후속 과제로 남겨뒀다.
실제 장면 예시는 CARLA 에피소드의 정성 비교로 제시됐다. 예컨대 한 사례에서 π0.5는 누적 오차 뒤 충돌했지만 CosFly 변형은 경로를 완주했고, RL 정책은 종단 궤적 오차를 더 낮췄다고 설명한다. 한편 이 비교 역시 shared oracle state history와 벤치마크 조건 안에서 해석해야 한다.
| 구성/조건 | 원문 수치 | 근거 위치 |
|---|---|---|
| CPT 혼합 풀 | 500k mixed pool; 70% internal UAV trajectory data + 30% six external aerial spatial-VL datasets | p.8 | source_excerpt |
| SFT 데이터 | 5,861 clean trajectories / 1,740,278 samples | p.8 | source_excerpt |
| CoT 학습 | 19,066 samples; λlm = 0.1 | p.8 | source_excerpt |
| Open-loop unseen-test 성능 | OpenVLA 대비 ADE 35.3% 감소; CosFly-VLA-0.8B (SFT+CoT) ADE 0.7175m, Vis F1 0.659 | p.1, p.11 | source_excerpt |
| Closed-loop 성능 | SR seen 74%, unseen 82%; ADE seen 8.1, unseen 6.3; dErr seen 2.7, unseen 2.7 | p.12 | source_excerpt |
자료: STORIUM 정리
논문 내 표기 기준으로 0.8B 구성은 2-layer/8-head Transformer connector를 사용했다. 또한 deployment에서는 receding-horizon controller with Hc=1을 쓰며, 다음 관측이 오기 전 예측 델타의 첫 항만 실행한다고 적었다.
저작권자 © STORIUM 무단전재 및 재배포 금지
