소스 문서에서 슬라이드 덱을 자동 생성할 때 ‘청중’을 고려해야 한다는 시각에서 개발된 벤치마크 X+Slides가 arXiv에 공개됐다. 기존 슬라이드 생성 벤치마크들은 주로 내용의 완결성과 기술적 깊이를 평가하면서, 실제 발표 환경에서 결정적인 변수인 청중을 간과해 왔다. 전문가에게는 엄밀한 증명이 중요하고, 의사결정자에게는 실행 가능한 결론이 우선이듯, 같은 자료라도 청중에 따라 강조점이 달라진다.
X+Slides는 113개 주제와 7가지 발표 시나리오를 아우르는 다양한 코퍼스를 기반으로 하며, 중복 제거된 8133개의 소스 근거 기반 프로브(probe)로 구성된 동적 평가 프레임워크를 채택했다. 같은 소스 기반 프로브에 청중별 유용성 가중치를 부여해 네 가지 지표를 산출한다. 청중 커버리지(Audience Coverage)는 청중에게 필수적인 정보가 얼마나 전달됐는지를, 도메인별 커버리지(Domain-wise Coverage)는 어떤 유형의 정보가 포함됐는지를 측정한다. 효율성(Efficiency)은 전달된 유용성 대비 주의 비용을, 정확성(Correctness)은 슬라이드 내용이 소스에 의해 실제로 뒷받침되는지를 검증한다.
DeepPresenter, SlideTailor, NotebookLM 세 시스템을 대상으로 실험을 진행했다. 임계값 0.7 기준에서 DeepPresenter의 청중 커버리지는 0.714, SlideTailor는 0.594, NotebookLM은 0.853으로 나타났다. NotebookLM이 가장 높은 점수를 기록했으나 소스 근거 방식에서 명확한 차이를 보였다. 세 시스템 모두 청중에게 필수적인 정보를 아직 완전히 포착하지 못하는 것으로 평가됐다.
연구진은 시각적 품질과 광범위한 주제 커버리지를 소스 근거 평가 없이 성능의 증거로 취급해서는 안 된다고 강조했다. X+Slides의 공개로 슬라이드 생성 AI의 실제 청중 맞춤 능력을 표준화된 방식으로 평가할 수 있는 토대가 마련됐으며, 향후 LLM 기반 프레젠테이션 도구 개발과 비교 연구에 활용될 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
