자율주행 장면을 읽는 비전언어 에이전트(VLA)는 카메라가 많아도 교란에 안전하지 않았다. CVPR 2026 AdvML 워크숍 기술보고서는 DriveLM 방식의 장면 질의응답을 공격하는 챌린지 결과를 정리했다. 한 장면은 동기화된 카메라 영상 6개와 운전 관련 질문·정답 묶음으로 구성됐다. 참가자는 영상에 제한된 변화를 주고, 질문 원문 뒤에만 문자열을 붙여 모델 답변을 기준 정답에서 멀어지게 해야 했다.
대회는 두 단계로 진행됐다. 각 단계에는 200개 장면이 쓰였고 54개 팀 가운데 21개 팀이 2단계에 진출했다. 1단계는 알려진 DriveLM-Agent를 대상으로 했지만, 2단계는 참가자에게 공개되지 않은 운전 특화 모델 Dolphins를 추가했다. 최종 점수는 두 모델 점수의 평균이다. 장면 점수에는 답변 이탈 정도, 6개 영상의 평균 코사인 유사도, 접미사 길이에 대한 0.99의 지수형 감점이 함께 반영됐다.
최종 유효 순위에서 MR-CAS가 76.63점, team tong이 75.93점, WZBC AbeLiuXL이 71.19점으로 상위권을 차지했다. MR-CAS는 질문을 바꾸지 않고 핵심 영역 블러와 전역 문자 교란을 결합했다. team tong은 32/255 예산의 전이 지향 PGD와 질문 유형별 짧은 접미사를 썼다. WZBC 팀은 질의 그래프와 안전 중요도에 따라 교란 예산을 배분했다. 서로 다른 방법이지만 모두 한 카메라나 최종 답변만 노리는 전략을 피했다.
보고서의 비교에서 영상 쪽 공격은 접미사 길이 감점을 피할 수 있어 특히 강했다. 여섯 시점을 장면 단위로 함께 최적화하고, 중간 시각·언어 특징 공간을 흔들거나 영상 안에 문자를 그려 넣는 방식이 숨은 모델로 옮겨가는 데 활용됐다. Q-STAR는 12픽셀 문구 6개를 모든 시점에 배치해 무공격 36.71점에서 60.63점으로 올랐다. 이는 VLA가 실제 장면과 일치하는지 충분히 확인하지 않은 채 읽을 수 있는 시각 문구를 과신할 수 있음을 보여준다.
방어 측면에서는 OCR로 수상한 문자를 거르고, 카메라 사이 객체 대응과 질문·영상·답변의 일관성을 함께 검사할 필요가 제시됐다. 압축과 저장 과정도 위협 모델의 일부다. JPEG 품질, 글자 크기, 불투명도와 배치가 실제 제출 점수에 영향을 줬기 때문이다. 따라서 메모리 안에서만 평가한 픽셀 교란보다 배포 파이프라인을 통과한 파일 기준 검증이 중요하다는 결론이다.
| 항목 | 값 | 원문 근거 |
|---|---|---|
| 평가 장면 | 단계별 200개, 장면당 카메라 6개 | PDF p.2, Sec. 2.3 |
| 참가 규모 | 54개 팀, 21개 팀 Phase II 진출 | PDF p.2, Sec. 2.2; p.3 |
| Phase II 상위 유효 점수 | 76.63 / 75.93 / 71.19 | PDF p.4, Table 3 |
| Q-STAR 비교 | 무공격 36.71 → 60.63 | PDF p.16, Tables 15–16 |
| team tong 최종 설정 | ε=32/255, 400 steps, JPEG 95 | PDF p.10, Table 12 |
자료: STORIUM 정리
다만 이 결과는 실제 차량 주행 안전성을 측정한 것이 아니라 정적 장면 질의응답 대회다. 온라인 평가는 확률적 언어모델 판정기를 사용해 같은 제출도 소폭 달라질 수 있고, 숨은 모델과 세부 지표는 공개되지 않았다. 일부 분석은 각 팀 기술보고서와 제한된 제출 횟수에 기반하며 반복 실험의 신뢰구간도 없다. 2026년 7월 공개된 arXiv v1 프리프린트라는 점까지 감안해, 취약성의 존재와 실제 물리 공격 위험은 구분해야 한다.
1차 출처: https://arxiv.org/abs/2607.11560
저작권자 © STORIUM 무단전재 및 재배포 금지
