트랜스포머 추론 회로의 학습을 저차원 불변 다양체로 설명한 이론 연구
수백만 파라미터의 학습 궤적을 해석 가능한 소수 좌표로 제한해 문맥 학습과 암기 회로의 경쟁을 분석하는 틀을 제시했다.
[태그:] 기계적 해석가능성
LLM 심사자의 편향은 숨은 상태의 저차원 방향으로 나타나고 조절할 수 있다
일곱 심사 모델과 아홉 벤치마크에서 표면 단서가 점수를 흔드는 내부 방향을 찾아 편향 재현·복원·실패 예측까지 연결했다.
수백만 파라미터의 학습 궤적을 해석 가능한 소수 좌표로 제한해 문맥 학습과 암기 회로의 경쟁을 분석하는 틀을 제시했다.
일곱 심사 모델과 아홉 벤치마크에서 표면 단서가 점수를 흔드는 내부 방향을 찾아 편향 재현·복원·실패 예측까지 연결했다.
