트랜스포머 모델에 위치 정보를 넣는 방식으로 널리 쓰이는 회전 위치 임베딩(RoPE, Rotary Position Embeddings)은 위치 주파수를 고정된 격자 형태로 모델에 제공한다. 그런데 실제로 학습된 모델은 이 주파수들을 고르게 쓰지 않고 특정 대역에 크게 편중해 사용한다. 연구진이 arXiv에 공개한 논문은 이런 편중이 왜 생기는지를 학습 데이터의 구조에서 찾는 데이터 기반 설명을 제시했다.
연구진은 각 주파수가 위치를 들여다보는 일종의 렌즈처럼 작동한다고 봤다. 여기서 시야와 해상도 사이의 맞교환 관계가 생긴다. 데이터에 나타나는 의존 패턴의 폭을 W라고 할 때, 그에 대응하는 최적 주파수는 대략 1/W에 비례한다는 것이 핵심 발견이다. 다시 말해 모델이 어떤 주파수에 의존하도록 학습되는지는, 학습 데이터가 담고 있는 상대적 거리 구조와 맞물려 결정된다는 설명이다.
이 원리는 인공적으로 만든 실험과 실제 텍스트 실험 양쪽에서 관찰된 패턴을 함께 설명한다고 연구진은 밝혔다. 언어 모델에서 흔히 나타나는 중저주파 대역 편중 역시, 언어 자체가 여러 규모에 걸친 의존 구조를 지니고 있기 때문이라는 해석이다. 나아가 이 주파수 선택 원리를 위치 보간(position interpolation)을 통한 긴 문맥 일반화와 연결했다. 주파수를 낮추면 유효 시야는 넓어지지만 해상도는 떨어지는데, 긴 문맥의 관계가 학습 때 본 패턴을 비례적으로 확대한 형태에 가까울 때 이 방식이 잘 통한다고 봤다. 반대로 의존 관계가 문맥 길이에 비례해 늘어나지 않으면 효과가 무너질 수 있다.
실제로 연구진은 자연어가 서로 다른 위치 규모에 걸쳐 근사적인 자기 유사성을 보인다는 점을 실험으로 확인했다. 이는 테스트 시점에 주파수를 조정하는 것만으로 더 긴 문맥으로 일반화가 가능한 이유를 뒷받침한다. 결국 긴 문맥으로의 일반화는 두 가지 정렬에 달려 있다는 결론이다. 하나는 학습된 주파수를 학습 시점의 의존 구조에 맞추는 것이고, 다른 하나는 문맥 길이가 늘어날 때 그 의존 구조가 확장되는 방식에 주파수 조정을 맞추는 것이다.
이 연구는 RoPE 주파수가 실제로 어떻게 형성되는지를 데이터 관점에서 규명해, 긴 문맥 처리 성능의 배경을 이론적으로 설명했다는 데 의미가 있다. 해당 논문은 동료 심사를 거치기 전 단계로 arXiv에 사전 공개됐다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
