웨이보(Weibo) 모회사 시나(Sina)가 공개한 소형 언어 모델 VibeThinker-3B가 수학·코딩 분야에서 예상을 뛰어넘는 성능을 보여 주목받고 있다. 30억 파라미터에 불과한 이 모델은 수학 경시대회 형식의 AIME26 등 경쟁 벤치마크에서 DeepSeek V3.2, Kimi K2.5와 동등한 성능을 나타냈다. 두 모델은 VibeThinker-3B보다 파라미터가 200~333배 많다. LiveCodeBench에서는 파라미터가 200억 개 미만인 모델 중 최고 점수를 기록했다.
시나 연구팀은 성능의 핵심 원천으로 알리바바의 Qwen2.5-Coder-3B를 기반으로 적용한 다단계 사후학습(post-training)을 꼽는다. 수학·코딩·범용 대화를 아우르는 지도 미세조정(SFT)으로 폭넓은 과제를 먼저 학습시킨 뒤, 수학·프로그래밍·STEM 영역에 순차적으로 강화학습을 적용했다. 이어 각 단계의 역량을 단일 모델로 통합하는 자기증류(self-distillation) 단계와 지시 따르기 성능을 높이는 마무리 단계까지 총 4단계로 구성된다. 연구팀은 미세조정 과정에서 의도적으로 다양한 풀이 경로를 쌓은 뒤 강화학습으로 효과적인 경로를 강화하는 방식이 핵심이라고 설명했다. LeetCode가 2026년 4월 말부터 5월 말 사이 개최한 실전 대회(훈련 이후 진행된 것)에서 VibeThinker-3B는 128문제 중 123개를 첫 시도에 풀었다. 이는 GPT-5.2, Qwen3-Max, Kimi K2.5, Claude Opus 4.6을 앞선 결과다.
그러나 사실 지식을 폭넓게 요구하는 GPQA-Diamond 벤치마크에서는 대형 경쟁 모델들보다 현저히 낮은 점수를 냈다. 연구팀은 이 결과를 바탕으로 ‘파라미터 압축·범위 가설(Parametric Compression-Coverage Hypothesis)’을 제안했다. 단계적 검색·조건 확인·오류 수정·중간 결과 통합처럼 반복적 패턴으로 이뤄진 수학적 논리 추론은 소수의 파라미터로 압축할 수 있다는 것이다. 반면 다양한 주제에 걸친 개방형 질문에 답하려면 방대한 사실 정보를 저장하는 대규모 파라미터가 여전히 필요하다는 결론이다.
이번 연구는 소형 모델이 비용 절감용 경량 버전에 그치지 않고, 검증 가능한 구조적 과제에서는 독자적 연구 경로가 될 수 있다는 가능성을 보여준다. 비슷한 흐름으로 지난 4월 알리바바의 Qwen3.6-27B가 15배 큰 전작을 모든 코딩 벤치마크에서 앞질렀고, 아부다비의 Falcon H1R 7B도 자신보다 2~7배 큰 모델과 동급 성능을 달성했다는 발표가 있었다. VibeThinker-3B는 현재 허깅페이스(Hugging Face)와 깃허브(GitHub)에 공개돼 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
