설명가능 인공지능(Explainable AI, XAI) 분야에서 모델의 신뢰성을 검증하려면 특정 모델 하나만이 아니라 가능한 모든 가설의 공간을 전역적으로 살펴봐야 한다는 문제의식에서 출발한 새로운 형식적 프레임워크가 아카이브(arXiv)에 공개됐다. 연구진은 이를 ‘대수적 결정트리 카운팅(Algebraic Decision Tree Counting, ADTC)’이라 명명했다.
연구진에 따르면 ADTC는 최적 및 준최적 결정트리 전체를 빠짐없이 분석하기 위한 형식적 틀로, 지식표현(knowledge representation) 분야에서 쓰여온 대수적 모델 카운팅(Algebraic Model Counting, AMC) 개념에서 착안했다. 결정트리는 데이터를 분기 조건에 따라 나누며 예측을 내리는 대표적인 해석 가능한 머신러닝 모델로, 의료 진단이나 금융 심사처럼 판단 근거를 사람이 이해할 수 있어야 하는 영역에서 널리 쓰여왔다.
논문 설명에 따르면 ADTC는 최적화, 개수 세기(counting), 샘플링처럼 서로 다른 분석 과제를 하나의 통일된 계산 틀로 재구성한다. 구체적으로는 이 모든 과제를 준환(semiring)이라는 대수 구조 위에서 이뤄지는 ‘합의 곱(sum-of-products)’ 계산으로 환원해 처리한다는 것이다. 서로 다른 목적의 분석 작업을 별도의 알고리즘 없이 하나의 수학적 틀 안에서 다룰 수 있다는 점이 이 접근법의 핵심으로 소개됐다.
결정트리처럼 해석 가능성이 강조되는 모델에서도, 실제로는 데이터에 대해 비슷한 성능을 내는 트리 구조가 여러 개 존재할 수 있다는 점은 XAI 연구자들 사이에서 꾸준히 제기돼 온 문제다. 특정 트리 하나만 보고 “이 모델의 판단 근거는 이렇다”고 설명하면, 성능은 비슷하지만 구조와 해석이 전혀 다른 대안 모델들의 존재를 놓칠 위험이 있다. ADTC와 같은 전역적 분석 틀은 이런 대안 가설들을 체계적으로 세고 비교할 수 있게 해준다는 점에서 신뢰할 수 있는 AI 검증 방법론 연구에 기여할 것으로 보인다.
국내에서도 금융권과 공공기관을 중심으로 AI 의사결정의 설명 가능성과 감사 가능성을 요구하는 규제 논의가 이어지고 있어, 이 같은 전역 분석 기법이 실무에 적용되면 모델 검증 절차의 신뢰도를 높이는 데 참고가 될 수 있다는 관측이 나온다. 다만 논문 초록만으로는 ADTC의 구체적 계산 복잡도나 실제 데이터셋 적용 실험 결과까지는 확인되지 않아, 후속 공개 자료를 통한 추가 검증이 필요할 것으로 보인다.
