신경 연산자(neural operator) 및 인컨텍스트 연산자 학습의 기존 평가 방식이 예측 오차에만 의존해 올바른 국소 동역학 구조를 검증하지 못한다는 문제를 지적하고, 야코비안 기반 스펙트럼 감사(Jacobian-based spectral audit) 방법론을 제안한 연구가 arXiv에 발표됐다. 모델이 정확한 출력을 예측하더라도 틀린 민감도, 왜곡된 주파수 응답, 가짜 모드 결합, 불안정한 접선 동작을 보일 수 있다는 것이 연구의 출발점이다.
제안된 방법은 고정된 프롬프트에 대해 네트워크 출력을 쿼리 함수 기준으로 미분해 야코비안을 계산하고, 이를 학습된 접선 연산자로 해석한다. 이 야코비안을 푸리에 모드에 투영해 주파수별 이득, 위상 구조, 교차 모드 결합을 포함한 국소 스펙트럼 특성화를 얻는다. 이 감사 방법은 표준 예측 지표를 보완하며, 모델이 출력뿐 아니라 기저 편미분 방정식(PDE) 연산자의 국소 메커니즘을 재현하는지 검사한다.
여러 벤치마크 실험에서 이 감사 방법은 위상 전달, 점성도 의존 감쇠, 비선형 모드 결합, 반응-확산 안정성 구조 등 연산자 수준의 현상을 구분해냈다. 또한 예측 오차 지표로는 부분적으로만 드러나는 실패 유형, 즉 고주파 열화, 잘못된 위상 복원, 프롬프트-연산자 불일치도 탐지했다. 오염되거나 내부적으로 일관되지 않은 프롬프트는 점별 예측이 부분적으로 정확한 경우에도 접선 연산자 구조를 저하시킨다는 점이 확인됐다.
편미분 방정식 기반 과학 계산에 신경망을 응용하는 분야에서 예측 정확도와 국소 연산자 충실도는 구분되는 성질임을 이번 연구가 실증했다. 연구팀은 이 프레임워크가 안정성, 민감도, 연산자 일관성 진단 도구로도 활용될 수 있다고 밝혔다. 물리 기반 머신러닝 모델의 신뢰성을 높이려는 연구 흐름과 맞닿아 있는 성과다.
