사용자 개인의 미적 취향을 반영해 이미지를 생성하는 능력을 평가하기 위한 새로운 벤치마크 ‘PIPBench(Profile-Inclusive Benchmark)’가 공개됐다. 연구진은 DALL·E 3처럼 최근의 텍스트-이미지 생성 모델이 다양한 지시문을 충실히 따르는 데는 뛰어나지만, 개별 사용자의 취향에는 여전히 무감각하다는 문제의식에서 출발했다. 같은 프롬프트라도 사람마다 선호하는 색감·구도·분위기가 다른데, 기존 모델은 이런 개인차를 담아내지 못한다는 것이다.
PIPBench가 다루는 과제는 ‘개인화 이미지 생성’이다. 모델은 사용자가 과거에 선호했던 몇 장의 이미지와 짧은 프롬프트를 바탕으로, 그 사용자의 암묵적 시각 취향에 맞는 결과물을 만들어야 한다. 연구진에 따르면 PIPBench는 개인화 이미지 생성을 평가하기 위한 첫 ‘프로필 포함형’ 벤치마크다. 즉 단순히 프롬프트만 주는 것이 아니라, 사용자를 특징짓는 프로필 정보를 함께 제공해 평가한다는 점이 기존 방식과 구별된다.
데이터 구축 방식도 이 연구의 핵심으로 꼽힌다. 연구진은 심리적·인구통계학적 프로파일링 차원을 활용하는 새로운 데이터 구성 파이프라인을 제안했다. 이 파이프라인은 실제 사용자 데이터를 수집하는 데 쓰일 뿐 아니라, 에이전트를 이용해 확장 가능한 방식으로 데이터를 생성하는 데도 활용된다. 실제 사람의 데이터와 자동 생성 데이터를 함께 다뤄, 평가에 필요한 규모를 확보하려는 접근으로 풀이된다.
연구진은 PIPBench를 이용해 대표적인 개인화 생성 방법들을 폭넓게 평가했다. 그 결과 기존 방법들이 갖는 주요 한계가 드러났으며, 이는 개인화 텍스트-이미지 합성 분야에 새로운 과제이자 기회를 제시한다고 연구진은 설명했다. 개인화 생성은 광고·콘텐츠 제작·창작 도구 등에서 활용도가 높지만 객관적 평가 기준이 마땅치 않았던 만큼, 공통된 척도를 제시하려는 이번 시도는 후속 연구의 발판이 될 것으로 보인다. 다만 구체적인 성능 수치나 어떤 방법이 우위에 있었는지는 이번 요약 정보만으로는 확인되지 않으며, 연구진은 프로젝트 페이지를 통해 관련 자료를 공개했다.
