텍스트-이미지(T2I) 생성 모델이 갈수록 사실적인 이미지를 만들어내는 가운데, 모델이 생성한 이미지 안에서 어떤 부분이 왜 잘못됐는지를 체계적으로 짚어내는 진단 방법론이 부재하다는 문제의식이 연구자들 사이에서 제기돼 왔다. 기존 밀집 피드백(dense feedback) 방식은 픽셀 단위 열지도(heatmap)로 결함을 표현해 결함의 위치를 대략 나타낼 수는 있지만, 결함 개수가 가변적이거나 의미적 이유를 결함 하나하나에 연결하기 어렵다는 한계가 있었다.
이런 문제를 해결하기 위해 연구팀은 구조화 결함 그라운딩(SDG, Structured Defect Grounding)이라는 새 진단 체계를 제안했다. SDG는 이미지 안의 각 결함을 위치(where)·유형(what)·이유(why)·중요도(importance) 네 가지 속성으로 이뤄진 튜플(tuple)로 표현한다. 이를 통해 T2I 진단을 단순한 픽셀 회귀 문제가 아닌 구조화된 집합 예측(structured set prediction) 문제로 전환한다. 연구팀은 이 체계를 학습·평가할 수 있도록 4종의 현대 T2I 생성기를 대상으로 바운딩박스 기반 주석이 달린 3만 개 이미지 데이터셋 SDG-30K와 전용 평가 프로토콜 SDG-Eval도 함께 공개했다.
구조화된 결함 표현은 진단에서 그치지 않고 모델 개선으로도 이어진다. 연구팀은 비전-언어 모델(VLM)이 SDG 탐지기 역할을 수행하고, 박스플로우-GRPO(BoxFlow-GRPO)라는 방법이 예측된 결함 집합을 공간적 보상 신호로 변환해 확산 모델 정렬에 활용하는 진단-정렬 프레임워크를 제시했다. 실험 결과 SDG 탐지기는 구조화 결함 그라운딩 과제에서 선도적 독점 VLM들을 앞선 성능을 보였고, SDG 기반 보상은 T2I 정렬을 일관되게 향상시키며 국소적 이미지 정제도 지원하는 것으로 나타났다.
이 연구는 생성 이미지 품질 평가가 단순한 점수 매기기를 넘어 결함의 구조적 해석으로 발전할 수 있음을 보여준다. SDG 방법론은 T2I 모델의 진단·평가·개선을 하나의 통합된 인스턴스 수준 인터페이스로 다루는 새 연구 방향을 제시한다는 점에서 의의가 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
