[태그:] FineWeb-Edu

FineWeb-Edu로 학습한 135M급 재귀형 트랜스포머에서 토큰별 수렴 깊이를 직접 읽고, 무학습 종료 규칙이 학습된 라우터보다 깊이 절감에 유리함을 보인 arXiv ...