인과 관계의 실제 정답(ground truth)을 확보하기 어려운 현실 시스템에서 인과 효과에 관한 주장을 어떻게 평가할 수 있는가라는 문제를 다루는 연구가 arXiv에 발표됐다. 이 연구는 n개 변수 집합에 대해 n(n-1)/2개의 이변량 인과 진술 모음을 평가하는 방법론을 개발했으며, 대형 언어 모델(LLM)이 내놓는 인과 주장의 신뢰도를 검증하는 데 실제로 적용했다.
비순환 선형 인과 진술 환경에서 임의의 이변량 인과 진술 모음은 고유한 다변량 인과 모델로 확장될 수 있다. 그러나 이 유도된 모델이 관찰된 상관관계를 설명하기 위해 상당한 추가 교란 요인을 부과한다면, 해당 모델은 설득력이 낮다고 판단할 수 있다. 연구진은 이 타당성 개념을 수량화하는 ‘양립성 점수(compatibility score)’를 도입했다. 중요한 특징으로, 이 점수는 충실성(faithfulness) 가정에 의존하지 않는다. 아울러 비순환성과 충실성 가정에서 도출된 전역 일관성 제약을 기반으로 순수 그래프 이변량 인과 진술에 대한 ‘비양립성 점수(incompatibility score)’도 정의했다.
연구팀은 이론적 분석과 실험적 증거 모두를 통해 두 점수가 일반적 상황에서 올바른 인과 진술과 잘못된 인과 진술을 성공적으로 구별할 수 있음을 입증했다. 나아가 LLM이 제시한 인과 주장을 분석하는 실제 적용 사례를 통해 방법론의 실용적 유용성을 보였다. 이 연구의 의의는 인간 전문가나 AI가 제공한 인과 정보의 신뢰도를 다른 방식의 검증이 불가능한 환경에서도 평가할 수 있는 기반을 마련했다는 점에 있다.
AI가 의료, 정책, 과학 연구 등 영역에서 인과 추론 결과를 제공하는 상황이 늘어나면서, AI 출력물의 인과 주장을 독립적으로 평가하는 도구의 필요성이 커지고 있다. 이 연구는 정답 레이블 없이도 인과 진술의 내적 일관성을 기준으로 신뢰도를 가늠하는 방법을 제시함으로써 AI 생성 인과 정보 검증 분야에 새로운 방향을 제시했다.
