인물 재식별(ReID)은 분리된 카메라망에서 같은 사람을 찾아내는 감시 시스템의 핵심 과제다. 이 arXiv 프리프린트 서베이는 기존의 단일 RGB 중심 접근이 저조도와 가림에 취약하다는 문제의식에서 출발해, 교차·다중 모달로 빠르게 확장 중인 흐름을 정리한다. 범위는 가시광-적외선(VI-ReID), 텍스트-이미지(TI-ReID), 스케치 기반(Sketch-ReID), 비가시선(NLOS) ReID, 그리고 삼중 스펙트럼과 다중 센서 융합까지다.
정리 방식도 단순한 목록화에 그치지 않는다. 논문은 각 하위 과제를 서로 다른 모달 경계를 넘는 연속선 위에 놓고, 데이터셋과 방법, 난점의 변화를 함께 검토한다. 예컨대 VI-ReID에서는 SYSU-MM01, RegDB, LLCM 같은 벤치마크의 성격을 나누어 서술하고, LLCM을 야간 저조도 상황을 겨냥해 구축된 대규모 벤치마크의 첫 사례로 소개한다. 또 교차 데이터셋 평가, 카메라·환경 분리 시험, 열화되거나 누락된 모달리티에 대한 강건성 검증이 필요하다고 제안한다.
TI-ReID 부분에서는 텍스트와 이미지의 정합 문제를 더 세밀하게 다룬다. CUHK-PEDES, ICFG-PEDES, RSTPReid를 두고 Rank-1과 mAP를 비교하는 기존 평가 축을 제시하면서, 같은 데이터셋 안의 주석 체계가 얼마나 정교한지가 성능 해석에 중요하다고 짚는다. 예시로 텍스트 단독 질의의 mAP가 54.88%였던 설정에서 적외선을 더하면 70.77%로, 색연필 정보를 더하면 81.14%로, 스케치 정보를 더하면 74.01%로 올라가며, 텍스트+적외선+색연필+스케치 조합은 87.46% mAP에 도달한다고 정리한다.
스케치와 삼중 스펙트럼, 그리고 NLOS로 이어지는 후반부는 모달 경계가 흐려지는 방향을 보여준다. 스케치는 색·조명·배경 같은 단서를 버리고 윤곽과 질감 일부만 남기는 추상적 표현으로 설명되며, 중간 모달리티를 넣거나 적응형 프롬프트 튜닝, 메타러닝 기반의 few-shot 정렬 전략으로 격차를 메우는 연구들이 묶인다. 한편 Wi-Fi 신호 이미지를 이용한 Wi-PER81이 공개 벤치마크의 첫 사례로 언급되고, NLOS ReID는 직접 시야 밖의 관측까지 확장되는 새 방향으로 분류된다.
이 서베이의 또 다른 축은 Transformer 기반 기준선이다. 연구진은 VI-ReID용 baseline을 제안하면서 모달리티 공유 Transformer 인코더, feature-level modality confusion, IR-guided RGB pseudo-label refinement를 핵심 구성으로 둔다. 표 7의 절제 실험에서 감독 학습 기준 제안안은 SYSU-MM01에서 Rank-1 69.93, mAP 68.91, RegDB V→I에서 93.48/88.72, I→V에서 92.61/87.72를 보였고, 비지도 설정의 제안안은 SYSU-MM01에서 60.87/59.56, RegDB V→I에서 90.87/85.32, I→V에서 90.67/84.61을 기록했다. 같은 표에서 MSTE나 FMC, IR-PR을 제거하면 수치가 하락해 각 모듈의 기여를 확인할 수 있다.
| 구분 | 원문에 명시된 내용 | source_locator |
|---|---|---|
| VI-ReID 벤치마크 | SYSU-MM01, RegDB, LLCM에서 supervised VI-ReID 방법의 Rank-1 정확도와 mAP를 비교 | p.9 | source_excerpt; Table 3 |
| TI-ReID 벤치마크 | CUHK-PEDES, ICFG-PEDES, RSTPReid에서 Rank-1 정확도와 mAP를 비교 | p.25 | source_excerpt; Table 6 |
| Transformer 기준선 절제 | Proposed baseline / w/o MSTE / w/o FMC / w/o IR-PR의 supervised·unsupervised 성능 비교 | p.37 | source_excerpt; Table 7 |
| LLCM 데이터셋 | 야간 저조도 상황을 위해 구축된 대규모 VI-ReID 벤치마크의 첫 사례로 서술 | p.6 | source_excerpt |
| TI-ReID 예시 수치 | 텍스트-only mAP 54.88% → 적외선 70.77%, 색연필 81.14%, 스케치 74.01%; text+infrared+color-pencil+sketch 87.46% mAP | p.33 | source_excerpt |
자료: STORIUM 정리
정리하면 이 글은 단일 모달에서 다중 모달로 이동하는 인물 재식별 연구를 폭넓게 묶고, 벤치마크와 평가 관행, 모델 설계까지 한 프레임에 넣어 검토한 서베이다. 검증은 공개 데이터셋과 내부 절제 실험을 중심으로 제시되며, 실제 배치 성능이나 범용성을 단정하기보다 현재까지의 교차 모달 전개를 체계적으로 정리하는 데 초점이 맞춰져 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
