그로킹 트랜스포머, 회로 동기화가 일반화에 선행한다는 인과 증거 제시
트랜스포머의 그로킹 현상에서 푸리에 회로 동기화가 일반화보다 앞서 발생하며, 정규화 강도에 따라 그 간격이 줄어든다는 인과 증거가 제시됐다.
[태그:] 그로킹
대형 언어모델만 희귀 능력을 갖는 이유, 메커니즘 수준에서 규명됐다
앤트로픽·스탠퍼드 등 연구팀이 소형 LLM이 희귀 과제를 학습하지 못하는 원인을 밝혔다. 빈번한 과제가 희귀 과제 학습 신호를 반복적으로 덮어씌우는 '학습-망각 ...
