텍스트와 음성, 얼굴을 함께 쓰는 감정 인식은 정보를 언제 합칠지에 따라 성격이 달라진다. 입력 단계에서 결합하는 초기 융합은 상호작용을 잘 잡지만 구조가 단일화되고, 각 모델의 예측을 나중에 합치는 후기 융합은 모듈식이지만 복합 단서를 놓칠 수 있다. 이 연구는 단일 모달과 교차 모달 전문가를 섞고 TreeSHAP 기여도로 표본별 가중치를 정하는 적응형 융합을 다시 분석했다. 특히 전문가마다 입력 특성 차원이 다를 때 SHAP 값을 하나의 가중치로 줄이는 방식에 주목했다.
평균 절댓값이나 중앙값 절댓값을 쓰면 차원이 큰 교차 모달 전문가의 영향이 억제될 수 있었다. 반면 절댓값의 합은 전체 기여량을 보존해 세 모달을 함께 보는 전문가에 더 큰 비중을 줬다. MELD 감정 인식에서 이 방식은 초기 융합에 가까운 결과를 보였고 단순 확률 평균 후기 융합보다 나았다. CMU-MOSEI 감성 인식에서도 초기 융합을 소폭 웃돌았다. 제거 실험은 복잡한 표본별 라우팅보다 교차 모달 전문가, 특히 세 모달 전문가를 추가한 것이 주된 이득임을 보여줬다.
결과는 설명가능성 도구의 출력도 집계 방식에 따라 편향될 수 있음을 일깨운다. 차원이 다른 전문가를 비교하면서 평균만 적용하면 중요한 복합 표현을 구조적으로 낮게 평가할 수 있다. 실무에서는 가중치가 직관적으로 보인다는 이유만으로 해석 가능성을 주장하기보다, 축약 규칙과 특성 수의 영향을 함께 공개해야 한다. 이 연구의 수치는 MELD와 CMU-MOSEI 설정에 관한 것이며 모든 멀티모달 과제로 일반화되지는 않는다. 그래도 성능 향상의 출처를 라우팅과 전문가 구성으로 분리해 검토했다는 점이 유용하다.
또한 감정과 감성 라벨은 맥락과 주석자 판단에 민감하다. 가중치가 특정 모달리티에 몰렸다는 사실을 사람의 감정 원인에 대한 설명으로 오해해서는 안 된다. 향후에는 잡음이 낀 음성이나 얼굴이 가려진 영상처럼 일부 모달리티가 불완전한 조건에서도 같은 집계 규칙이 안정적인지 확인해야 한다. 모듈성의 장점은 이런 실패를 전문가별로 추적할 때 더 뚜렷해진다.
원문: arXiv 2607.08573
저작권자 © STORIUM 무단전재 및 재배포 금지
