그래프에서 잡음을 제거하는 작업을 스펙트럼 관점에서 다시 분석하고, 기존 어텐션 방식의 한계를 이론적으로 규명한 연구가 공개됐다. 연구진은 arXiv에 게재한 논문에서 그래프 노이즈 제거가 그래프 학습의 근본 문제이자 그래프 확산의 핵심 연산이라고 설명하며, 이를 개선하는 ‘그래프 합성곱 어텐션(Graph Convolutional Attention, GCA)’ 기법을 제안했다.
그래프 트랜스포머 같은 어텐션 기반 방법이 주목받고 있으나 그 작동 원리에 대한 이해는 아직 충분하지 않다는 것이 연구진의 문제의식이다. 연구진은 선형 어텐션이 학습 분포 전체에 대한 평균적인 스펙트럴 노이즈 제거 필터만 학습할 수 있다는 점을 보이며 그 한계를 지적했다. 데이터마다 스펙트럼 특성이 다른데도 하나의 평균적 필터에 머무른다는 것이다.
이를 해결하기 위해 연구진은 입력 그래프의 스펙트럼을 직접 활용하는 ‘스펙트럴 어텐션’을 먼저 도입했다. 이 방식은 데이터의 스펙트럼이 다양할수록 선형 어텐션을 이론적으로 능가한다. GCA는 이 아이디어를 순열 등변성을 갖추도록 실용적으로 구현한 것으로, 필터링된 질의(query)와 키(key)를 써서 잡음을 제거한다. 확률적 블록 모델에서는 GCA가 이상적인 스펙트럴 어텐션 메커니즘과 사실상 동일한 성능을 낸다는 점도 증명됐다. 연구진은 소프트맥스가 잡음이 섞인 고유벡터를 깨끗한 고유공간으로 근사 투영해 추가적인 이점을 준다는 분석도 내놓았다.
실험에서는 선형 어텐션을 GCA로 대체했을 때 합성 및 실제 데이터셋 모두에서 그래프 노이즈 제거와 확산 성능이 일관되게 개선됐으며, 성능 향상 폭은 스펙트럼의 다양성과 맞물렸다. 그래프 생성 프레임워크인 디그레스(DiGress) 안에서 GCA는 값비싼 구조적 특징을 계산하지 않고도 표준 그래프 트랜스포머 수준의 성능에 도달했다. 또 PEARL 위치 인코딩과 결합했을 때는 품질 저하 없이 더 빠른 추론이 가능했다. 연구진은 관련 코드를 공개했다.
