‘조밀할수록 좋다’ 착각…AI 지속학습서 자기증류 한계 드러나
지속적 사후학습에서 온-폴리시 자기증류 기법이 오히려 기존 능력을 망각시킬 수 있다는 연구 결과가 나왔다.
[태그:] 사후학습
뉴런 활성화로 라벨 없이 LLM 자기증류하는 기법 제안
내부 뉴런 활성화를 활용해 라벨 없이도 LLM 성능을 개선하는 자기증류 프레임워크 '뉴런-OPSD'가 제안됐다.
시나 VibeThinker-3B, 30억 파라미터로 DeepSeek·Kimi보다 큰 모델 성능 달성
웨이보 모회사 시나(Sina)가 공개한 VibeThinker-3B는 30억 파라미터 소형 언어 모델이지만 수학·코딩 벤치마크에서 최대 333배 큰 모델들과 경쟁하는 성능을 보인다. 알리바바 ...
