고대 그리스 도기를 다루는 지능형 디지털 박물관을 위한 경량 멀티모달 에이전트 프레임워크 ‘VaseMuseum’이 공개됐다. 비전-언어 모델(VLM)은 3D 디지털화와 자연어 기반 유물 탐색을 연결해 인터랙티브 디지털 박물관을 점차 현실화하고 있다. 관람객이 유물을 보며 자연어로 질문하고 설명을 받는 방식이 가능해진 것이다. 그러나 연구진은 고대 그리스 도기 같은 문화유산 영역에서는 VLM의 신뢰할 만한 보조가 두 가지 난제로 제약을 받는다고 지적했다.
첫째는 열린 해석의 문제다. 유물에 대한 개방형 해석은 세밀한 2D·3D 시각 증거를 전문적인 큐레이터 지식에 근거해 설명해야 하는데, 그 과정에서 검색이 약한 출처나 검증되지 않은 참조를 끌어들일 수 있다. 둘째는 불확실성 처리의 문제다. 이용 가능한 증거가 불완전하거나 잡음이 많거나 모호할 때, VLM은 보정된 불확실성을 표현하는 대신 확신에 찬 그러나 근거 없는 답을 내놓는 경향이 있다. 문화유산처럼 사실 정확도가 중요한 영역에서는 이런 환각이 특히 문제가 된다.
VaseMuseum은 이 문제들을 풀기 위해 인터랙티브 가상 박물관과 ‘VaseAgent’를 결합했다. VaseAgent는 멀티모달 지각, 3D를 인식한 추론, 외부 지식 검색, 추론 시점의 신뢰도 제어를 통해 2D 이미지와 3D 유물을 모두 지원한다. 구체적으로 이 에이전트는 권위 있는 웹 및 박물관 지식 출처에서 증거를 검색하고, 출처 수준의 제어를 통해 답을 생성하기 전에 다양하면서도 검증 가능한 증거를 선별한다. 또한 응답 수준의 제어를 통해 생성된 주장을 증거 풀과 대조하며, 근거가 부족하거나 상충할 때는 중립적이고 증거 범위 안에 머무는 답을 하도록 유도한다.
여기에 더해 연구진은 VLM 백본을 갱신하지 않고도 학습이 필요 없는 GRPO 방식의 선택 기제를 도입해, 유효한 참조와 보정된 확신을 가진 응답을 선호하도록 했다. 현실적인 디지털 박물관 시뮬레이션 실험 결과, VaseMuseum은 검색 기능을 갖춘 VLM 기준선과 비교해 인용의 유효성을 높이고, 지식 집약적 질의에서 환각을 줄였으며, 모호한 상황에서 더 중립적인 답을 만들어냈다고 연구진은 밝혔다. AI가 문화유산 해설에서 근거 없는 단정을 줄이도록 설계한 사례라는 점에서 눈길을 끈다.
