멀티모달(multimodal) AI 생성 과정에서 나타나는 사실 오류, 즉 환각(hallucination) 문제를 추론 시점에 그래프 구조로 추적하고 수정하는 새로운 프레임워크 TIGER(Traceable Inference with Graph-Based Evidence Routing)가 arXiv에 공개됐다. 이 연구는 유창하게 생성된 출력 안에 입력 근거가 없는 특정 사실들이 포함되는 사실 수준(fact-level) 오류를 정밀하게 수정하는 데 초점을 맞췄다.
기존의 추론 시점 수정 방법들은 입력과 현재 출력을 함께 조건으로 삼아 피드백을 생성하는 구조를 가지고 있었다. 이 방식에는 두 가지 한계가 있다. 출력에 포함된 환각 주장이 모델의 입력 해석을 왜곡할 수 있고, 자유 형식의 피드백은 사실 단위로 우선순위를 매기거나 일정을 조정하기 어렵다. TIGER는 이 구조를 근본적으로 바꾼다. 입력에서 관찰 그래프를, 현재 출력에서 주장 그래프를 각각 독립적으로 추출한 뒤, 각 주장에 그래프 조건부 위험 점수를 부여해 지지 여부와 충돌 여부를 분석한다. 그런 다음 위험 점수가 높은 주장을 선별해 백본 모델을 동결한 채 수정을 수행한다. 연구팀은 기대 총 위험이 온화한 가정 아래 기하급수적으로 명시적 점근 하한으로 감소한다는 수렴 분석도 제시했다.
실험은 이미지→텍스트, 이미지+텍스트→텍스트, 오디오→텍스트, 영상→텍스트의 4가지 교차 모달 경로에서 수행됐으며, TIGER는 작업 품질을 유지하면서 근거 없는 내용을 줄이는 효과를 보였다. 복수의 백본 모델에서 개선이 관찰됐고, 다중 출처 환경에서의 근거 정확도를 높이는 데도 활용 가능성이 확인됐다. 연구진은 논문에서 TIGER가 출처 불분명 정보를 다루는 재난 대응 상황 분석 등 다중 소스 설정에서도 같은 수정 메커니즘이 적용될 수 있음을 시사하는 사례도 함께 제시했다.
멀티모달 AI의 신뢰성은 의료 영상 분석, 법적 문서 처리, 재난 대응 등 고위험 응용 분야에서 핵심 과제로 부상하고 있다. TIGER는 별도의 학습 없이 추론 단계에서 적용 가능하다는 실용적 특성을 갖춰, 기존 멀티모달 시스템에 통합 가능한 환각 저감 도구로서의 가능성을 보여준다. 앞으로 더 복잡한 다중 문서·다중 미디어 환경에서의 성능과 확장성 검증이 후속 과제로 남아 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
