ETH 취리히와 스탠퍼드 연구진이 트랜스포머가 귀납 추론 회로를 형성하는 과정을 저차원 동역학으로 표현했다. 연구가 정의한 IMIR는 경사하강으로 학습해도 궤적이 밖으로 나가지 않는 불변 다양체다. 각 좌표는 특정 층·어텐션 구성요소가 수행하는 토큰 선택이나 값 전달 같은 해석 가능한 기본 동작에 대응한다. 수치와 이론의 출처는 아직 동료검토 전인 arXiv:2607.11875다.
이론 대상은 연관 회상, 문맥 n-그램, k홉 추론, 순열 역산 등을 하나로 묶은 블록-리스트 과제다. 토큰 재명명과 블록 위치 이동에 대한 데이터 대칭, 직교 임베딩과 단순화한 어텐션 구조를 가정해 키-쿼리와 출력 가중치의 경사가 작은 기저 공간에 갇힘을 증명했다. 이 좌표에서 문맥 내 학습 회로와 가중치 암기 회로의 경쟁을 직접 추적했다.
2층 실험은 폭 128, 공통 토큰 16개·희귀 토큰 64개, 길이 9 문맥으로 250단계 학습했다. IMIR의 세 좌표만 남기면 문맥 학습 정확도가 0.75로 전체 모델 0.77에 가까웠다. 3층 폭 256 모델에서는 수천 개 초기화를 스캔해 초기 좌표에 따라 세 후보 귀납 회로 중 승자가 급격히 바뀌는 상전이 경계를 관찰했다.
자동 회로 탐지는 5층·폭 1024·약 3200만 파라미터 모델을 2홉 과제에서 5만 단계 학습한 뒤 IMIR 좌표를 후진 제거했다. 한 모델은 1428개 방향 중 7개만 남겨 정확도 0.922를 유지했고, 표준 핵심 4개만 두면 0.594로 떨어졌다. 이는 헤드 단위 분석이 놓치는 보조 방향이 실제 성능에 크게 기여함을 보여준다.
| 실험 구성 | 남긴 방향 | 정확도 |
|---|---|---|
| 2층 전체 모델 | 전체 | 0.77 |
| 2층 IMIR 축약 | 3개 좌표 | 0.75 |
| 5층 자동 탐지 회로 | 1428개 중 7개 | 0.922 |
| 5층 표준 핵심 회로 | 4개 | 0.594 |
증명과 실험은 합성 블록 과제, 어텐션 전용 모델, 직교 표현과 대칭 가정에 국한된다. 자연어로 학습된 대형 모델의 전체 파라미터 궤적이 같은 다양체를 따른다는 증거는 아직 없다. 그러므로 예측 이론의 출발점이지 범용 LLM 설명으로 일반화할 단계는 아니다.
저작권자 © STORIUM 무단전재 및 재배포 금지
