주행 영상에서 차량과 보행자를 찾는 능력이 곧 사고를 이해하는 능력은 아니다. 안전 시스템은 날씨와 조명, 도로 구조를 파악하고 사건 전후의 움직임을 연결해 충돌 위치와 회피 가능성까지 추론해야 한다. AUTOPILOT-VQA는 실제 주행 사고와 사고 직전 상황을 중심으로 비전언어모델을 평가하는 영상 질의응답 벤치마크다. 일반적인 장면 설명보다 안전에 직접 연결되는 사건 단위 이해를 측정하려 한다.
질문은 날씨와 조명 조건, 교통 환경, 도로 배치와 노면 상태, 표지, 관련 개체, 사고 발생 여부, 충돌 지점, 회피 가능성 관련 추론을 구조화해 다룬다. 모델은 한 프레임의 물체를 나열하는 데 그치지 않고 시간 흐름 속 사건 세부와 맥락을 근거에 맞게 답해야 한다. 데이터셋은 AUTOPILOT CVPR 2026 대회의 일부로 공개됐으며, 서로 다른 자율주행 시스템의 신뢰성을 같은 기준으로 비교하기 위한 표준 평가를 제공한다.
이런 평가는 모델의 설명이 실제 영상에 근거했는지, 사고 뒤 그럴듯한 이야기를 만들어낸 것인지 구분하는 데 도움을 준다. 개발자는 사고 유형별 오류를 나눠 안전 모듈의 취약점을 찾을 수 있다. 다만 질의응답 정답이 실제 법적 책임이나 운전자의 의도를 완전히 표현하지는 못하며, 회피 가능성 판단에는 카메라 밖 정보와 차량 상태도 필요하다. 벤치마크 성능을 곧바로 실도로 안전성으로 바꾸어 해석해서는 안 된다. 그 가치는 객체 인식 중심 평가를 시간적이고 안전 중심인 추론으로 확장한 데 있다.
평가 문항은 사건의 시간 구간과 답의 영상 근거를 함께 표시해 모델이 어느 장면을 보고 판단했는지 확인할 수 있어야 한다. 국가별 표지와 도로 규칙, 야간·악천후 자료를 균형 있게 포함하는 것도 중요하다. 정답이 논쟁적인 회피 가능성 질문에는 복수 전문가의 합의와 불확실성을 기록해야 벤치마크가 과도한 단일 판단을 강요하지 않는다.
원문: arXiv 2607.08745
