멀티모달 거짓말 탐지(multimodal deception detection)를 블랙박스 분류 방식이 아닌 명시적 인지 추론 과정으로 전환하는 프레임워크 ‘ThinkDeception’이 제안됐다. 기존 접근법 대부분은 종단간(end-to-end) 방식으로 결과만 출력해 추론 과정의 투명성이 부족하고, 속임수 행동에 내재된 복수 모달 간 미묘한 불일치를 명시적으로 포착하지 못한다는 한계를 안고 있었다. 연구팀은 멀티모달 대형 언어 모델(MLLM)을 이 도메인에 처음으로 도입해 이진 분류 과제를 단계적 인지 추론 과정으로 재정의했다.
핵심 기술 기여는 두 가지다. 첫째, 정밀 주석이 달린 단계별 멀티모달 사고 연쇄(CoT, Chain of Thought) 데이터셋을 구축해 모달 불일치가 거짓말 탐지에 결정적 역할을 한다는 점을 경험적으로 검증하는 기반 모델 ThinkDeception Base를 개발했다. 둘째, 시각·음성 일관성 그룹 상대 정책 최적화(VAC-GRPO)와 점진적 학습 전략을 결합했다. 표준 GRPO와 달리 훈련 데이터를 네 단계 난이도로 분류해 쉬운 과제에서 어려운 과제로 이행하는 심리학적으로 근거 있는 커리큘럼을 따르며, 다차원적이고 과정 인식적인 보상 메커니즘과 반성적 학습 패러다임을 결합했다.
논문에 따르면 ThinkDeception은 주요 벤치마크에서 탐지 정확도와 추론 품질 모두에서 기존 방법을 크게 앞서는 최고 성능(SOTA)을 달성했다. 사기 의도 식별처럼 속임수를 해석 가능한 방식으로 탐지하려는 수요가 커지는 가운데, 이번 연구는 AI 거짓말 탐지 분야를 블랙박스 패턴 인식에서 설명 가능한 인지 추론으로 전환하는 방향타를 제시한다는 의의가 있다.
