입력 샘플의 국소 계산지형을 따라 내부 특징을 되짚는 닫힌형식 역추정법

이 논문은 신경망 내부 특징을 입력공간에서 어떻게 해석할지 다룬다. 기존의 반복적 feature inversion은 목표 표현과 다시 인코딩한 표현이 같아지는 입력을 찾지만, 같은 조건을 만족하는 입력이 여러 개일 수 있어 특징을 만든 샘플 자체의 역상은 정해지지 않는다고 본다. 저자는 이를 보완하기 위해, 목표 특징을 생성한 입력의 국소 네트워크 기하를 함께 조건으로 두는 source-grounded feature inversion을 제안한다.

원문에서 이 방법은 자연영상 재구성이 아니라 upstream-state estimation으로 설명된다. 입력 x, 목표 노드 T, 선택 채널 집합 S를 함께 다루며, 역추정은 target tensor만이 아니라 그 feature를 만들어낸 forward point의 계산 경로에 묶인다. 백프로파게이션은 올바른 역의존성을 제공하지만 adjoint signal만 전달하므로, 이를 입력 쪽 상태 추정으로 바로 쓰지 않고 국소 보정 단계로 고친다.

방법은 두 개의 닫힌형식 보정으로 이뤄진다. 첫 단계에서는 채널 평균 에너지를 씨앗으로 한 VJP를 행렬 Wiener map Gv로 upstream-state estimate로 바꾼다. 둘째 단계에서는 같은 forward point에서 계산한 JVP residual을 또 다른 Wiener map Dv로 보정한다. 원문은 이 두 보정이 computational DAG를 따라 하나의 finite reverse pass로 합쳐진다고 설명한다. 지도는 frequency별 full C×C matrix이고 zero-intercept이며, 캘리브레이션 ridge는 ρ = 0.01, ϵridge = 10−30이다.

실험은 CNN과 Transformer, 이미지·깊이·채널·채널 그룹을 포함한 여러 텐서 구성과 시각 분포에 걸쳐 수행됐다. 반복 최적화는 쿼리당 2,000 gradient steps가 필요하지만, 제안법은 캘리브레이션 뒤 온라인에서 0 optimization steps로 동작한다. 그림 1f에는 0.13 s vs 23.01 s/query, 즉 180.7× lower online cost가 제시된다. 또 1,024개 표본에 대한 depth 결과와 48개 model·layer·group size 조합에서의 prediction-conditioned intervention 비교를 통해, 타깃 독립적 이미지 템플릿이 아니라 선택한 feature와 그 sample의 local operator가 결과를 정한다는 점을 보인다고 주장한다.

원문은 이 입력-domain 역상이 특정 샘플의 국소 계산 구조를 따라가도록 설계됐다는 점을 거듭 강조한다. zero targets yield zero inverses, channel selections produce distinct structures, operating-point swaps redirect the inverse to the new source-local branch라는 통제를 통해, 역상은 목표와 샘플의 local geometry가 함께 정한다고 설명한다. 따라서 이 연구의 핵심은 feature inversion을 별도의 학습된 디코더나 단순한 saliency가 아니라, 고정된 모델의 실제 DAG 위에서 수행되는 sample-specific local inverse branch로 재정의한 데 있다.

자료: STORIUM 정리

저작권자 © STORIUM 무단전재 및 재배포 금지