수리야나라야나 레디 야라보툴라(Suryanarayana Reddy Yarrabothula) 등 8명의 연구진이 실제 산업 현장의 CCTV 영상으로 시각언어모델(VLM)의 성능을 평가하는 새로운 벤치마크 ‘SteelBench’를 공개했다. 기존 비디오 벤치마크들은 대부분 일반 소비자용 영상이나 시뮬레이션 환경에 초점을 맞춰왔지만, 실제 산업 현장 CCTV가 가진 시각적·절차적 특수성 아래서 VLM이 어떻게 작동하는지는 검증하지 못했다는 게 연구팀의 문제의식이다.
SteelBench는 개별 작업자의 활동 인식과 안전 규정 준수 여부에 대한 추론, 라벨링 출처(provenance) 검증까지 함께 평가하는 진단형 벤치마크로 설계됐다. 실제 제철소에서 촬영된 149시간 분량의 운영 영상 중 1만24개의 후보 클립을 선별한 뒤, 이 중 1345개 클립에 대해 조밀한 주석을 달아 최종 벤치마크를 구성했다. 연구팀은 검증 없이 VLM이 생성한 라벨을 그대로 정답(ground truth)으로 쓸 경우, 같은 계열의 모델 정확도가 최대 17퍼센트포인트까지 부풀려질 수 있다는 사실도 함께 지적하며 엄격한 라벨 검증의 중요성을 강조했다.
연구팀은 4개의 서로 다른 아키텍처 계열에 속한 9개 VLM을 SteelBench로 평가했다. 그 결과 가장 우수한 모델도 작업 인식(action recognition) 정확도가 42.6%에 그쳐, 사람이 직접 판단했을 때의 정확도 84.6%와 비교하면 절반 수준에 머물렀다. 안전 규정 준수 여부를 판단하는 다섯 가지 진단 검사 항목에서는 어떤 모델도 두 개를 초과해 통과하지 못했다는 결과도 확인됐다.
이번 연구는 시각언어모델이 소비자용 애플리케이션에서는 빠르게 확산되고 있지만, 산업 현장처럼 안전이 직결된 고위험 환경에서 실질적인 의사결정을 맡기기에는 아직 상당한 성능 격차가 남아 있음을 보여준다. 연구팀은 데이터셋을 허깅페이스를 통해 공개해 산업용 VLM 연구를 위한 표준 평가 도구로 활용될 수 있도록 했다고 밝혔다.
