노이즈가 포함된 데이터에서 함수적 관계를 학습하는 것은 과학적 추론의 핵심 과제다. 스펙트럼 학습(spectral learning)은 미지의 함수를 기저 함수의 선형 결합으로 근사하고 계수를 데이터로 추정하는 방식인데, 이 계수가 노이즈 아래에서 얼마나 안정적으로 유지되는지는 지금까지 충분히 밝혀지지 않았다. 최근 arXiv에 공개된 연구는 이 문제를 정면으로 다루며, 노이즈가 학습된 계수 벡터에 미치는 영향을 이론적으로 분석했다.
연구진은 레이블 노이즈가 추가된 지도 회귀 문제에서 다양한 기저와 차원에 걸친 희소 스펙트럼 표현을 분석했다. 노이즈는 활성화된 스펙트럼 모드(spectral mode)의 수에 비례하는 방향으로 학습된 계수 벡터를 예측 가능하게 편이시킨다는 사실을 보였다. 경험적 특징 기하학을 표준화(whitening)한 뒤 노이즈 있는 계수 벡터와 노이즈 없는 계수 벡터 간 내적을 닫힌 형태의 수식으로 표현하는 데 성공했다. 이 식은 단 하나의 내재적 노이즈 척도만으로 결정되는 보편적인 정확도 저하 곡선을 나타낸다. 푸리에, 르장드르, 베셀, 하르 웨이블릿 등 여러 기저에서 수치 실험을 통해 이 이론적 예측을 확인했다.
핵심 결론은 스펙트럼 학습에 근본적인 노이즈 임계값이 존재한다는 것이다. 노이즈가 이 임계값을 넘어서면 계수 추정값이 불안정해지고, 데이터에서 함수 구조를 복원하는 것이 내재적으로 불가능해진다. 이는 스펙트럼 방법으로 해결할 수 있는 문제의 경계를 이론적으로 획정한 것으로, 노이즈가 많은 데이터에서 머신러닝 모델이 얼마나 신뢰할 수 있는 예측을 내놓을 수 있는지의 한계를 규명하는 데 기여한다. 스펙트럼 기반 학습이 활발히 적용되는 물리 시스템 모델링, 신호 처리, 과학적 기계학습 분야에서 모델 설계와 데이터 요구량 산정에 실용적 시사점을 제공한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
