SAR 영상으로 홍수를 판별하는 딥러닝 모델을 설명할 때, 입력 일부를 가리고 출력 변화를 보는 perturbation 기반 xAI가 널리 쓰인다. 이 arXiv에 공개된 첫 원고는 그런 설명 방식이 얼마나 설정에 민감한지, 특히 패치의 크기·형상과 가림 영역을 무엇으로 바꿀지 정하는 대체 방식에 초점을 맞춰 검토했다.
연구진은 합성개구레이더(SAR) 홍수 탐지라는 구체적 과제를 바탕으로, 서로 다른 perturbation 설정에서 relevance estimation이 어떻게 달라지는지 체계적으로 살폈다. 단순히 heatmap을 눈으로 비교하는 데 그치지 않고, 전략 간 일관성과 모델 추론에 대한 충실도(faithfulness)도 함께 평가했다.
결과는 분명했다. perturbation 선택에 따라 같은 입력에서도 relevance map이 서로 다른 방향으로 기울 수 있었고, 때로는 모호하거나 서로 충돌하는 설명이 나왔다. 즉, 설명 결과를 좌우하는 것은 모델만이 아니라 perturbation 파이프라인의 방법론적 설정 자체라는 점이 드러났다.
본문의 평가는 특히 water class 예측 변화를 기준으로 진행됐다. 참조 라벨에는 cloud class가 포함돼 있어, 물과 배경만 다루는 과제 정의에 맞춘 Dice score를 사용했다. 또 수신기 이미지의 물 분포는 water coverage와 largest water component 같은 속성으로 요약해 cluster별로 해석했다.
내부 결과에서는 cluster에 따라 설명의 방향이 달라졌다. 예를 들어 Cluster III와 IV에서는 높은 relevance가 배경 쪽에 오래 남았고, 삭제가 진행된 뒤 약 85~95% 구간에서야 큰 하락이 나타났다고 적었다. 반면 Cluster I과 II에서는 Dice score가 초반에 비교적 완만하게 변하다가 물 영역이 perturbation될 때 더 크게 떨어졌고, 이 경우 AUC는 약 0.7 수준으로 보고됐다. 표기된 요약값은 Minimum 0.70 ± 0.04, Class mean 0.70 ± 0.05, Stochastic constant replacement 0.68 ± 0.04, Patch substitution 0.70 ± 0.06, Pixel shuffling AUC 0.69 ± 0.03이다.
| 비교 항목 | 원문에 나온 내용 | source_locator |
|---|---|---|
| 조절 축 1 | patch geometry: perturbed regions의 size와 shape | p.1 | abstract |
| 조절 축 2 | perturbation type: replacement scheme | p.1 | abstract |
| 평가 기준 | consistency across perturbation strategies, faithfulness to the model’s reasoning | p.1 | abstract |
| 요약 성능 | Minimum 0.70 ± 0.04; Class mean 0.70 ± 0.05; Stochastic constant replacement 0.68 ± 0.04; Patch substitution 0.70 ± 0.06; Pixel shuffling AUC 0.69 ± 0.03 | p.16 | source_excerpt |
자료: STORIUM 정리
이 논문은 설명 기법의 결과를 해석할 때 perturbation 설정을 부차적 옵션이 아니라 핵심 변수로 다뤄야 한다는 점을 강조한다. 특히 SAR처럼 대체값이 물리적 의미를 가질 수 있는 데이터에서는, 어떤 패치 형상과 대체 규칙을 택했는지가 곧 설명의 성격을 바꿀 수 있음을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
