긴 영화의 인물과 사건을 기억해 음성해설을 잇는 StoryTeller

장편 영화의 음성해설은 현재 장면을 정확히 묘사하는 것만으로 부족하다. 앞서 등장한 인물과 사건을 이어 기억해야 서사가 끊기지 않는다. 아직 이름이 드러나지 않은 인물은 익명 상태로 보관했다가 대사나 후속 장면에서 정체가 확인되면 이전 언급과 연결한다. 별도 미세조정 없이 기존 시각언어모델을 조율한다.

평가는 LSMDC에서 온 영화 10편의 MAD-Eval을 사용했다. 새 StoryAD-QA에는 2,574개 객관식 문항이 있으며 단일 구간 Track A 1,611개, 앞선 맥락이 필요한 Track B 963개로 나뉜다. 구간 길이는 30·60·120·240초이고, 답변 모델은 생성된 음성해설 텍스트만 보고 정답을 고른다.

영화 인물 그래프와 서사 메모리를 갱신하는 StoryTeller Figure 2 — Figure 2. Fig. 2: Overview of StoryTeller. Before processing clip vt, the system maintains the narrative state St−1 = (Gt−1, Mt−1), where Gt−1 is the identity graph and Mt−1 is the narrative memory. Given vt, StoryTeller (1) updates the identity graph to main- tain character continuity, (2) extracts structured factual candidates using the updated identity graph, optional public movie metadata, and the previous narrative memory, and (3) updates the narrative memory using semantic filtering, VLM verification, and reinforcement–decay salience dynamics. Public movie metadata may suggest character names or plot context, but only visually verified facts are stored in narrative memory. 출처: arXiv:2607.11798

논문은 기존 학습형·비학습형 음성해설 기준보다 서사 질문 정답률과 인물 일관성에서 개선을 보고했다. 특히 문장 유사도만 재는 대신 해설만 듣고 누가 무엇을 했는지 복원할 수 있는지를 평가했다. 익명 인물 backlog는 영화당 3.5MB 미만으로, 늦은 정체성 연결의 메모리 부담은 작았다.

StoryAD-QA 구성	문항 수
전체	2,574개
Track A·단일 구간	1,611개
Track B·앞선 맥락 필요	963개

자료: STORIUM 정리.

시각장애인을 위한 장편 영화·드라마 해설처럼 등장인물과 사건이 여러 장면에 걸쳐 이어지는 작업이 직접 대상이다. 서사 메모리는 긴 영상 요약이나 검색에도 응용할 수 있지만, 생성 해설의 접근성 품질은 자동 QA 하나로 충분히 판단할 수 없다.

평가는 영화 10편 중심이며 얼굴 군집 오류, 화면에 없는 정체성, 문화적 묘사와 실제 이용자 선호는 충분히 다루지 못했다. arXiv:2607.11798 공개본의 자동 QA 개선을 접근성 품질 전체로 확대 해석해서는 안 된다. 이번 프리프린트는 StoryTeller는 영화를 구간별로 처리하면서 얼굴 트랙을 인물 그래프로 묶고, 앞선 사건과 인물 관계를 압축한 서사 메모리를 다음 구간 설명에 제공한다.