제로샷 합성 이미지 검색(ZS-CIR)은 참조 이미지를 자연어 명령으로 수정해 원하는 목표 이미지를 찾아내는 기술로, 특정 도메인에 맞춰 미리 준비된 학습 데이터 없이도 작동해야 한다는 특성을 갖는다. 기존 ZS-CIR 방식 대부분은 참조 이미지를 유사 텍스트 토큰으로 변환하는 ‘텍스트 인버전’ 기법에 의존한 뒤 이를 명령어와 단순히 텍스트 공간에서 이어붙이는 방식을 썼다. 그러나 연구진은 이런 방식이 세밀한 의미 차이를 다루는 데 손실이 크고 취약하다는 문제를 지적했다.
이를 해결하기 위해 연구진은 ‘FlowCIR’이라는 새로운 접근법을 제안했다. FlowCIR은 ZS-CIR 문제를 참조 이미지와 목표 이미지의 임베딩 사이에서 이뤄지는 ‘조건부 의미 이동(conditional semantic transport)’ 문제로 재정의한다. 이 모델은 ‘조건부 플로우 매칭(conditional flow matching)’ 기법을 활용해, 참조 이미지에 조건화된 상태에서 명령어 표현을 목표에 맞는 질의 임베딩으로 이동시키는 경량 이동장(transport field)을 학습한다. FlowCIR은 이미 추출된 비전-언어모델(VLM) 임베딩 위에서 작동하며 이미지·텍스트 인코더 자체는 업데이트하지 않고 작은 이동 모듈만 학습하기 때문에, 기존 텍스트 인버전 기반 방식보다 훨씬 효율적인 학습 과정을 제공한다.
연구진에 따르면 FlowCIR은 기존 텍스트 인버전 기반 접근법보다 훨씬 적은 학습 자원만으로도 훈련이 가능할 만큼 효율적이다. 또한 연구 과정에서 부정문이나 특정 대상의 제외를 요구하는 명령을 VLM 기반 합성 모델이 제대로 처리하지 못하는 것이 주요 실패 원인이라는 점을 확인했다. 이를 보완하기 위해 연구진은 추론 단계에서만 작동하는 ‘다중 부정 스티어링(Multi-Negative Steering)’ 전략을 제안했다. 이 전략은 부정 표현이 포함된 상대적 명령이 원치 않는 의미 쪽으로 이끌리지 않도록 방향을 조정해, VLM의 부정 처리 한계를 완화하고 부정 표현이 많은 질의에서의 견고성을 높인다.
연구진은 표준 합성 이미지 검색 벤치마크에서 광범위한 실험을 수행한 결과, FlowCIR이 최근 제안된 다른 ZS-CIR 방법들과 비교해 강력하고 경쟁력 있는 성능을 달성했다고 밝혔다. 이번 연구는 대규모 재학습 없이도 이미지 검색 시스템의 효율성과 정확도를 동시에 끌어올릴 수 있는 가능성을 보여준다는 점에서 의미가 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
