재귀 깊이를 가변적으로 쓰는 트랜스포머가 토큰마다 실제로 무엇을 계산하는지 직접 측정한 arXiv 프리프린트가 나왔다. 대상은 FineWeb-Edu로 학습한 135M급 모델이며, 동일한 가중치 코어를 여러 번 반복 적용하는 구조를 가진다. 관찰 결과 재귀 상태는 토큰별 고정점으로 수렴했고, 평균 successive-output KL 발산은 2번째 루프의 3.9×10^-1에서 16번째 루프의 8.5×10^-6까지 내려갔다. 상태 변화도 같은 흐름을 보였다.
핵심은 수렴이 토큰마다 균일하지 않다는 점이다. 중앙값 토큰은 6번째 루프에서 수렴했지만, 약 10%의 토큰은 학습 평균 깊이인 8회차에서도 여전히 갱신을 이어갔다. 평균 수렴 깊이는 토큰 유형에 따라 달라졌고, 공백 토큰이 가장 얕았으며 내용어가 가장 깊었다. 이 차이가 논문의 중심 관찰로 제시된다.
이 비균일성을 바탕으로, 모델 내부에서 읽어낸 수렴 신호만으로 토큰별 종료를 정하는 무학습 규칙이 제안됐다. 이 규칙은 평균 4.94회 루프에서 uniform depth-8 품질에 도달해 평균 깊이를 38% 줄였고, 평균 깊이 범위 전반에서 uniform depth와 맞먹는 수준을 보였다. 반면 같은 모델에서 수집한 수렴 라벨로 학습한 선형 라우터는 거의 전체 깊이를 요구했고, 평균 깊이 절감도 만들지 못했다.
학습 설정과 검증 범위도 제한적으로 제시된다. 재귀 횟수는 최적화 단계마다 r∼round(LogNormal(log r̄, 0.5))로 샘플링해 [1, rmax]로 자르고, AdamW와 가중치 감쇠, gradient clipping 1.0, warmup이 있는 cosine 스케줄을 썼다. 숫자 성능은 완전히 anneal된 최종 체크포인트에서만 보고됐으며, 손실-대-루프 스윕은 64개 길이 2048 평가 창, 할당 비교는 128개 창과 zero state initialization으로 수행됐다.
효율 해석은 조심스럽다. 평균 깊이는 FLOP의 대리지표로만 쓰였고, 실현된 속도 향상은 보고하지 않았다. 또 FLOP가 맞는 dense baseline과의 동등성 주장도 하지 않았다. 벽시계 시간은 depth-wise batching이 가능할 때의 최선 구간을 3점으로 제시했을 뿐이며, 실제 서빙 결과는 추후 과제로 남겼다. 전체 실험은 단일 RTX 4090에서 약 100 GPU-hours로 진행됐다. 저자와 기관 표기는 PDF에 따르면 Joe Logan 단독 저자이며 소속은 University of Cambridge로 적혀 있다. 이 작업은 2026년 7월 공개된 동료검토 전 초안이다. 같은 모델, 같은 시드, 단일 규모에서 얻은 결과라는 제약도 분명하다. 그 안에서 확인된 것은, 깊이 재귀형 트랜스포머의 계산이 토큰별로 서로 다른 수렴 깊이를 보이며, 그 구조를 읽어내는 간단한 규칙이 학습된 정책보다 더 유리했다는 점이다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 모델/데이터 | 135M급 depth-recurrent transformer, FineWeb-Edu 학습 | p.1 abstract |
| 수렴 지표 | mean successive-output KL divergence: 2번째 루프 3.9×10^-1 → 16번째 루프 8.5×10^-6 | p.1 source_excerpt |
| 토큰별 수렴 깊이 | 중앙값 토큰 6번째 루프 수렴, 약 10%는 8회차에서도 갱신 지속 | p.1 source_excerpt |
| 조기 종료 성능 | 무학습 규칙: 평균 4.94회 루프, uniform depth-8 품질, 평균 깊이 38% 감소; 선형 라우터는 거의 전체 깊이 필요 | p.1 source_excerpt |
| 실험 범위/자원 | 64개 2048 길이 창, 128개 창, 단일 RTX 4090, 약 100 GPU-hours | p.5 source_excerpt; p.1 source_excerpt |
자료: STORIUM 정리
저작권자 © STORIUM 무단전재 및 재배포 금지
