이미지 기반 인물 재식별(I2I ReID)과 텍스트 기반 인물 재식별(T2I ReID)을 동시에 최적화할 때 발생하는 훈련 목표 충돌 문제를 해소하는 연구 결과가 arXiv에 발표됐다. 연구팀은 두 과제가 학습 방향에서 근본적으로 다른 요구를 갖는다는 사실을 규명하고, 이를 해결하기 위한 분리 2단계 훈련 파이프라인을 제안했다.
I2I ReID는 동일 인물의 여러 이미지에 걸쳐 신원 수준의 불변성을 학습하는 데 초점을 맞추는 반면, T2I ReID는 개별 시각적 특징과 연결된 텍스트 기술(description)을 처리해야 한다. 이 두 목표는 서로 다른 표현 품질을 요구하기 때문에 하나의 손실 함수로 동시에 최적화하면 공유 표현이 부최적(suboptimal) 상태에 머무른다. 연구팀은 이러한 모달리티 불일치와 최적화 충돌이 기존 통합 학습 방식의 핵심 병목임을 분석했다.
제안된 파이프라인은 단일 비전 인코더를 기반으로 I2I와 T2I 검색을 모두 지원하면서도 과제 간 간섭을 방지하는 구조를 갖는다. 실험을 통해 I2I ReID 사전 훈련이 T2I 데이터로의 일반화 능력을 향상시키며, 비전 인코더 훈련 단계에서 텍스트 감독(textual supervision)을 도입하면 두 과제의 성능이 모두 개선된다는 사실이 확인됐다. 연구팀은 다양한 도메인 혼합 방식, 학습 전략, 목표 함수 설정을 망라한 폭넓은 실험 결과를 제시했다.
인물 재식별은 공공 안전, 소매 분석, 스마트 시티 운영 등 다양한 실세계 응용에서 핵심 기술로 활용된다. 이미지와 텍스트를 함께 처리하는 통합 ReID 시스템 구축은 멀티모달 AI의 실용화 측면에서 중요한 과제로, 이번 연구가 제시한 분리 훈련 접근법은 크로스모달 검색 전반에 적용 가능한 통찰을 제공한다는 점에서 의미가 있다.
