카디프대 Yuanzhi He의 arXiv 프리프린트는 혼잡한 조작 장면에서 개방어휘 탐지기의 confidence가 무엇을 뜻하는지 다시 묻는다. 이 연구는 이름이 붙은 물체를 점점 가려 남은 가시 비율이 약 1/8 수준까지 내려가도, 탐지기가 그 물체의 존재 확신을 거의 바꾸지 않는지를 점검했다. 핵심은 confidence를 가시성의 대리값으로 읽어온 관행이다. 분석은 형상-세그멘테이션 오라클과 탐지기를 한 화면씩 짝지어 비교하는 방식으로 진행됐다. 오라클은 탐지기와 무관하게 실제 보이는 픽셀을 주고, 탐지기는 Grounding DINO, OWLv2, SAM 3의 confidence와 예측 영역을 반환한다. 실제 가시성이 모든 장면에서 1/8로 줄어드는 동안 confidence는 거의 일정했고 상관도는 사실상 0에 가까웠다. 탐지 결과는 특정 목표물보다 같은 범주의 다른 물체에 붙는 경우가 많았다.
이 현상은 세 가지 탐지기, 아홉 개 물체 범주, 렌더러와 객체 구성이 다른 두 시뮬레이터, 구축된 가림과 자연 가림, 그리고 실제 영상까지 가로질러 유지됐다. 특히 real video 2898프레임, 40개 클립의 DAVIS-2017 자료에서는 가려진 프레임의 99%에서 탐지기가 물체가 존재한다고 보고했다. 주어진 데이터 범위 안에서 이 confidence는 특정 대상이 보이는지보다 같은 범주의 무엇인가가 장면에 있는지를 말하는 쪽에 가까웠다. 수치로 보면 차이는 분명하다. 고정 시점에서 오라클 기준 실제 가시성은 occluder 수 k=3, 6, 9, 12에 따라 100%, 100%, 67%, 12%로 떨어졌지만, Grounding DINO-base의 confidence는 0.40, 0.39, 0.39, 0.40으로 유지됐다. 같은 조건에서 대상이 실제로 보이는 비율을 confidence로 평가한 active perception의 이득은 3~8점에 그쳤고, 오라클 기준 이득은 88점이었다. 논문은 이를 약 10배 수준의 과소평가로 해석한다.
가시성 대신 confidence로 게이트를 걸면 동작이 뒤집힌다. 숨겨진 대상을 기준으로 한 고정 시점에서 confidence가 높아, 카메라를 움직여야 할 상황인데도 움직이지 않는 방향으로 결정이 기운다. 반면 현재 시점의 세그멘테이션을 쓰는 위치 신호는 일부 탐지기에서 더 나았지만, 추적 위치에 10픽셀 정도 오차가 들어가면 성능이 다시 떨어졌다. SAM 3의 presence와 마스크 기반 위치 신호는 이 실험에서 거의 무작위 수준이었다.
| 구분 | 원문 수치/결과 | source_locator |
|---|---|---|
| 고정 시점 실제 가시성(occluders k=3/6/9/12) | 100% / 100% / 67% / 12% | p.6 | Table 2 |
| Grounding DINO-base confidence(occluders k=3/6/9/12) | 0.40 / 0.39 / 0.39 / 0.40 | p.6 | Table 2 |
| active perception 이득 | 오라클 88점, confidence 기반 3~8점 | p.6 | source_excerpt; p.9 | source_excerpt |
| 실제 영상 DAVIS-2017 | 2898프레임, 40개 클립, 가려진 프레임의 99%에서 존재로 판단 | p.8 | source_excerpt; p.1 | source_excerpt |
자료: STORIUM 정리
이 논문은 표준으로 굳어진 confidence 해석이 착시를 만든다고 정리한다. 같은 카테고리의 다른 물체가 앞을 가리는 장면에서는 confidence가 대상 가림이 아니라 범주 존재를 표시할 수 있기 때문이다. 결국 검증 범위 안에서 확인된 것은, 단일 화면 confidence만으로는 가림을 판별하기 어렵고 대상에 맞춘 신호가 게이팅과 평가에 더 적합하다는 점이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
