위치 인코딩(PE, Positional Encoding) 없이도 슬라이딩 윈도우 트랜스포머가 튜링 완전성을 가질 수 있다는 이론적 증명이 제시됐다. 위치 인코딩은 트랜스포머가 순서가 있는 시퀀스를 처리하는 데 필수적이라는 것이 오랜 통념이었다. 위치 정보가 없으면 다음 토큰 예측이 맥락 토큰들에 대해 순열 불변하게 되고, 이 직관에 따라 기존의 모든 범용성 연구도 체인오브소트(chain-of-thought)가 있는 트랜스포머가 임의의 계산, 즉 튜링 완전성을 갖추려면 위치 정보가 필요하다고 결론지어 왔다.
연구진은 이 믿음을 장기 추론에 가장 관련 깊은 유한 슬라이딩 컨텍스트 윈도우 영역에서 재검토했다. 핵심 관찰은 윈도우 메커니즘 자체가 순열 대칭을 부드럽게 깨뜨린다는 것이다. 이를 정밀하게 포착하기 위해 연구진은 상수 크기의 내부 상태와 현재 윈도우 내 토큰 빈도 히스토그램에만 의존하는 추상 자기회귀 모델인 HIST 모델을 도입했다. 이어 HIST 모델이 튜링 완전함을 증명했는데, 윈도우 슬라이딩 과정에서 방금 윈도우를 벗어난 토큰을 복원할 수 있고 이것이 튜링 완전한 포스트 기계(Post machine)를 시뮬레이션하기에 충분하다는 논리를 활용했다. 마지막으로 상수 크기 토큰 알파벳 위의 슬라이딩 윈도우 트랜스포머가 위치 인코딩 없이 HIST 모델을 시뮬레이션할 수 있음도 구성적으로 보였다.
이 결과가 의미하는 바는 명확하다. 범용 계산을 위해 위치 인코딩이 반드시 필요하지 않으며, 윈도우 슬라이딩 자체가 이미 충분한 위치 정보를 암묵적으로 제공한다는 것이다. 위치 인코딩의 역할을 이론적으로 재규정한 이 연구는, 장문 추론과 스트리밍 처리에 최적화된 새로운 트랜스포머 아키텍처 설계에 이론적 근거를 제공한다는 점에서 의의가 있다.
슬라이딩 윈도우 어텐션은 긴 컨텍스트 처리 비용을 줄이기 위한 실용적 기법으로 이미 여러 최신 모델에 적용되고 있다. 위치 인코딩 없이도 이 구조가 이론적으로 완전한 표현력을 가진다는 증명은, 향후 경량 트랜스포머 설계 및 효율적 추론 연구에 새로운 방향성을 열어줄 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
