대중교통 기관은 혼잡 관리, 서비스 계획, 수익 감사, 승객 경험 평가에 필요한 세밀한 운영 데이터를 요구하지만, 기존 승객 계수기나 요금 기록만으로는 정차와 개별 승객 행동을 함께 복원하기 어렵다. Rensselaer Polytechnic Institute 소속 연구진이 제시한 GHR-VLM은 이런 공백을 메우기 위해, 버스 내부 감시 영상을 먼저 정차 구간과 승객 단위 증거로 압축한 뒤 시각-언어 모델이 그 위에서만 추론하도록 설계했다. 이 논문은 2026년 7월 15일 공개된 arXiv 프리프린트로, 결제 전용 학습 데이터 없이 승객 수준의 결제 분석을 겨냥한다.
핵심은 긴 영상을 한 번에 묻지 않고, 문이 열리고 닫히는 상태를 기준으로 정차 구간을 가려낸 다음 탑승객 후보만 잘라내는 계층적 구조다. 경량 엣지 모듈이 문 영역에서 정차 구간을 가려낸 뒤, 해당 구간에서 승객 추적과 시간 분할을 수행한다. 이후 백엔드 VLM은 먼저 승하차 방향을 판별하고, 탑승자로 남은 클립에 대해서만 결제 방식을 분류한다. 연구진은 이 과정을 visual grounding과 hybrid reasoning의 결합으로 설명하며, 긴 영상에서 VLM이 놓치기 쉬운 위치 단서를 먼저 압축해 주는 점을 강조한다.
방법은 세 단계로 구체화된다. 먼저 문 상태 변화를 10초 겹침 창에서 판단해 정차 구간을 만들고, 그 안에서 16프레임 단위로 승객을 추적한다. 다음으로 “front, side, back, inside” 같은 일반적인 시각 방향 판단을 VLM에 맡긴 뒤, 이를 탑승·하차·잔류로 매핑하는 Complex-to-Simple 방식으로 승객 방향을 정한다. 마지막으로 선택된 탑승 클립에서는 요금 상자 영역을 기준으로 두 단계의 coarse-to-fine 재검증을 수행한다. 1단계는 16프레임 접촉 시트로 전체 클립을 훑고, VLM이 근거로 삼은 프레임 집합을 함께 내놓게 하며, 2단계는 그 근거 구간을 다시 촘촘히 샘플링해 최종 결제 라벨을 정한다.
실험은 1280×720 해상도, 10 FPS의 실제 버스 감시 영상 436분으로 수행됐고, 정차 구간과 승객 클립에는 수작업으로 결제 라벨이 붙었다. 장비는 메모리 24GB의 NVIDIA RTX 4090 1대로, 행동 분류에는 GPT-4o, 결제 분류에는 GPT-5.4-mini를 사용했다. 평가용 영상은 C3_1이 주간 8시~14시, C3_3이 18시~21시 촬영본이며, C3_3은 밤 장면이 전체의 거의 절반을 차지한다. 엣지 모듈의 경우 1차 결과는 정차 수와 승객 클립 수를 과잉 예측했지만 재필터링과 병합을 거치며 실제 개수에 가까워졌다. 정차 F1은 C3_1에서 0.767에서 0.887로, C3_3에서 0.708에서 0.898로 올랐고, 승객 클립 F1은 각각 0.647에서 0.702, 0.753에서 0.847로 상승했다.
결제 분류는 영상 품질에 따라 차이가 컸다. C3_1에서는 5개 클래스 정확도가 0.349에서 0.313으로 떨어졌고, 이진 Evade/Non-Evade 정확도도 0.813에서 0.783으로 감소했다. 반면 C3_3에서는 5개 클래스 정확도가 0.485에서 0.536으로 향상됐고, Evade 재현율은 0.559에서 0.647로 높아졌다. 다중 클래스 혼동행렬에서는 QR과 Tap의 구분이 특히 어렵게 나타났고, Swipe는 작은 동작 범위와 미세한 움직임 때문에 인식이 까다로웠다. 연구진은 단계 2가 더 집중된 근거를 제공하더라도, 흐림·역광·가림이 심한 장면에서는 성능이 제한된다고 정리한다.
이 결과만으로 실제 배치 가능성을 입증한 것은 아니다. 버스 영상에서 VLM을 곧장 쓰지 않고 엣지의 구조화된 지각과 결합했을 때 정차·승객 클립 탐지가 개선됐지만, 결제 분류 성능은 촬영 조건에 따라 엇갈렸다. GHR-VLM은 결제 전용 학습 데이터 없이도 승객 단위의 지불 행위를 추론하는 절차를 마련했지만, 논문 자체도 현재 결제 정확도는 실무 배치에 충분하지 않다고 밝힌다. 특히 동일한 파이프라인이라도 조명과 화질이 조금만 나빠져도 근거 선택과 최종 라벨이 흔들렸고, 이는 교통 영상의 현실적 난점을 그대로 드러낸다.
저작권자 © STORIUM 무단전재 및 재배포 금지
