텔아비브대학교와 코넬대학교 공동 연구진이 사진 한 장의 픽셀을 고치는 대신, 개인화 이미지 생성 모델이 보유한 ‘정체성 표현’을 직접 조절하는 방법을 제안했다. 코 모양, 주근깨, 수염처럼 인물 인식에 민감한 속성을 바꾼 뒤에도 같은 편집 결과가 서로 다른 장면과 프롬프트에서 유지되도록 하는 것이 목표다.
연구진은 Flux.dev 기반 Omni-ID와 PuLID의 사전학습된 개인화 인코더를 고정하고, Q-Former가 출력하는 정체성 토큰을 분석했다. 각 질의 토큰의 주의 지도가 눈·코·입 같은 얼굴 영역과 대응한다는 관찰을 바탕으로 편집할 부위와 관련된 토큰 집합을 고른다. 이후 패치 차이, 평균 차이, 선형 분류기, SVM, 주성분분석으로 잠재 방향을 구해 추가 학습이나 인물별 최적화 없이 속성의 강도를 연속적으로 조절했다.
잠재 방향 계산에는 FFHQ 얼굴 7만 장과 40개 이진 속성 라벨이 붙은 CelebA 20만2,599장이 쓰였다. 자체 벤치마크는 FFHQ에서 고른 정체성 이미지 20장, 기본 편집 5종, 고급 편집 7종, 장면 프롬프트 13개로 구성됐다. 방법별 생성량은 기본 편집 1,300장과 고급 편집 1,820장이었다. 정체성 일관성은 각 편집에서 나온 13개 이미지의 ArcFace 임베딩 간 평균 쌍별 코사인 유사도로 평가했고, 편집·프롬프트 준수도는 VQA 기반 판정기를 사용했다.
논문 표 1에서 제안법의 정체성 일관성은 기본 편집 0.47~0.49, 고급 편집 0.47~0.48이었다. W2W는 각각 0.31과 0.32였고, Flux Kontext Sequential은 0.51과 0.49로 이 항목에서는 제안법보다 높았다. 반면 제안법은 편집 준수도와 프롬프트 준수도에서 비교군보다 대체로 높은 값을 기록했다. 250건의 쌍대 판단으로 구성한 사용자 연구에서 제안법의 전체 선호 승률은 W2W 대비 94%, Kontext Direct 대비 85%, Kontext Sequential 대비 83%였다.
| 사용자 평가 항목 | W2W 대비 | Kontext Direct 대비 | Kontext Sequential 대비 |
|---|---|---|---|
| 정체성 보존 | 78% | 75% | 70% |
| 정체성 일관성 | 85% | 82% | 76% |
| 편집 준수 | 94% | 78% | 83% |
| 프롬프트 준수 | 96% | 88% | 85% |
| 전체 선호 | 94% | 85% | 83% |
결과의 범위는 연구진이 정한 얼굴 20장, 편집 12종, 프롬프트 13개와 합성 생성물에 한정된다. 사용자 연구도 250건의 쌍대 판단이며, ArcFace와 VQA 판정기가 미세한 얼굴 변화나 시각적 결함을 모두 포착하지는 못한다. Q-Former의 질의 토큰 수가 적으면 여러 얼굴 부위가 하나의 토큰에 압축돼 국소 제어가 약해지는 제약도 확인됐다.
정체성 표현을 세밀하게 바꾸는 기능은 창작과 개인화에 쓰일 수 있지만, 동의 없는 조작과 사칭 위험도 높인다. 연구진 역시 오용 방지 장치와 책임 있는 적용이 필요하다고 밝혔다. 이 연구는 arXiv:2607.11885로 공개된 동료검토 전 프리프린트이며, 실제 서비스 환경에서의 효과와 안전성은 독립적으로 검증되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
