공사구간은 자율주행 VLM이 흔들리기 쉬운 장면이다. 차선 표시와 permanent signs가 바뀌거나 사라지고, cones와 barriers 같은 temporary traffic control devices가 주행 가능한 통로를 다시 정한다. 이 논문은 이런 환경에서 모델이 보이는 객체를 보더라도 익숙한 패턴에 기대어 잘못된 계획으로 흐르는 문제를 다룬다. arXiv:2607.14727v1로 2026년 7월 16일 공개된 프리프린트다.
WorkDrive는 원시 프레임에서 깊이 추정, open-vocabulary detection, instance segmentation, cross-frame tracking을 거쳐 구조화된 scene facts를 만든다. 이어 Chain-of-Causation 주석 파이프라인에 이를 넣어, 주석기의 시선을 공사구간 특유의 요소로 돌린다. 이렇게 만든 reasoning label로 8B-parameter VLM을 LoRA로 SFT하고, 이후에는 lateral meta-action과 predicted trajectory의 consistency만을 보상으로 GRPO를 수행한다.
검증은 ROADWork 데이터셋에서 했다. ROADWork는 18개 도시의 4,375개 비디오를 담은 work-zone 벤치마크이며, 차선 수준 속성·작업 유형·궤적 정답은 있지만 reasoning annotation은 없다. 논문은 도시별 분할로 801 training clips와 110 validation clips를 만들었고, 이것이 14,331 training keyframe samples와 2,032 validation keyframe samples로 이어졌다고 밝혔다. 평가는 ADE@5, ADE@10, ADE@15, FDE, CR, Meta-Consistency로 진행됐다.
정량 결과에서 trajectory-only SFT의 ADE@15는 12.10 px, FDE는 42.34 px, CR은 14.66%였다. 여기에 Reasoning을 더한 단계는 ADE@15 11.87, FDE 41.47, CR 12.34%였다. R과 meta-action까지 넣으면 ADE@15 11.01, FDE 38.35, CR 11.49%, Meta-Consistency 80.2%가 됐다. 마지막 GRPO Alignment에서는 ADE@15 10.68, FDE 35.87, CR 7.03%, Meta-Consistency 100.0%를 기록했다. 초록의 핵심 개선폭도 그대로 제시되는데, roadwork CoC가 trajectory average displacement error를 9.0% 줄였고 consistency-based GRPO가 추가로 3.0%를 더 낮췄다.
비교군으로 zero-shot VLM도 포함됐다. Qwen3-VL-8B-Instruct는 ADE@15 18.05, FDE 49.83, CR 19.03%였고, Qwen3-VL-32B-Instruct는 ADE@15 19.25, FDE 49.73, CR 19.82%였다. GPT-5.2high는 ADE@15 16.09, FDE 47.23, CR 17.43%였다. WorkDrive 계열은 같은 2D pixel-coordinate trajectory convention에서 이들보다 낮은 오차를 보였고, 추론과 meta-action을 거쳐 궤적과의 일치를 강화한 뒤에는 충돌률도 더 낮아졌다.
이 작업의 의미는 공사구간에서 단순 인식만이 아니라, 무엇이 실제로 주행 결정을 좌우하는지까지 모델에 넣으려 했다는 데 있다. 한편 평가는 ROADWork와 2D pixel coordinates에 맞춰져 있으며, 실차 실험이나 BEV·3D world coordinate 결과는 본문에 없다. 코드와 reasoning dataset은 공개될 예정이라고 밝혔다.
| 구성/지표 | 값 | 근거 위치 |
|---|---|---|
| ROADWork 전체 규모 | 4,375 videos across 18 cities | Related Work 2.2 |
| 학습/검증 분할 | 801 training clips / 110 validation clips; 14,331 training and 2,032 validation keyframe samples | Experimental Setup 4.1 |
| trajectory-only SFT의 ADE@15 / FDE / CR | 12.10 px / 42.34 px / 14.66% | Table 1 |
| + GRPO Alignment의 ADE@15 / FDE / CR / Meta-Consistency | 10.68 px / 35.87 px / 7.03% / 100.0% | Table 1 |
자료: STORIUM 정리
연구 원문은 arXiv:2607.14727에서 확인할 수 있다. 프리프린트 결과는 동료평가와 후속 재현을 거치며 달라질 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
