트랜스포머 모델이 모듈러 산술 과제에서 학습 정확도는 높은 상태에서 검증 정확도가 낮은 암기 단계에 머물다가 갑자기 거의 완벽한 일반화로 도약하는 현상인 그로킹(grokking)의 내부 메커니즘을 분석한 연구가 발표됐다. 연구팀은 이 도약이 푸리에 회로(Fourier circuit)에 의해 발생한다는 기존 가설을 받아들이면서, 그 회로가 언제, 어떤 인과적 구조로 형성되는지를 새로운 측정 지표와 인과 실험으로 규명했다.
연구팀은 사전 회로 지식 없이 푸리에 회로 동기화 수준을 측정하는 지표인 FSD(주파수 동기화 정도)를 도입했다. 여러 소수를 법으로 하는 모듈러 덧셈 과제에 걸쳐 다중 시드로 실험한 결과, FSD는 그로킹 발생보다 일정 스텝 앞서 안정화됐으며 실험한 모든 구성에서 일관되게 양의 선행 간격을 보였다고 저자들은 밝혔다. 또한 FSD는 기존에 제안된 다른 예측 지표보다도 앞서 나타나, 현재까지 가장 이른 시점에 그로킹을 예측하는 지표로 제시됐다.
인과 구조 분석을 위해 연구팀은 FSD가 최고점에 도달한 시점에서 훈련을 분기한 뒤 가중치 감쇠(weight decay) 강도를 달리해 학습을 이어가는 실험을 수행했다. 그 결과 FSD 안정화 이후 그로킹까지의 간격이 정규화 강도가 클수록 줄어드는 일관된 관계를 확인했다. 이는 FSD 이후의 지연이 정규화 강도에 의해 제어되는 현상임을 인과적으로 뒷받침한다. 아키텍처 절제 실험에서는 어텐션 전용 모델이 강한 FSD 선행 신호와 함께 그로킹에 성공하고, MLP 전용 모델은 그로킹 자체가 발생하지 않으며, 단층 모델에서는 FSD가 후행하는 패턴이 관찰돼 이 선행 현상이 다층 회로의 고유한 특성임이 확인됐다고 저자들은 설명했다.
