텐센트가 총 파라미터 2,950억 개 규모의 혼합전문가(MoE) 언어모델 ‘하이3(Hy3)’를 7월 6일 오픈소스로 공개했다. 토큰당 실제로 작동하는 활성 파라미터는 210억 개에 불과하지만, 텐센트는 이 모델이 자사 활성 파라미터 크기의 2배에서 5배에 달하는 대형 모델과 맞먹는 성능을 낸다고 주장했다. 최대 컨텍스트 길이는 25만6천 토큰이며, 소스코드와 가중치는 아파치 2.0 라이선스로 허깅페이스와 깃허브, 모델스코프에서 내려받을 수 있다.
Hy3는 총 80개 레이어에 192개 전문가를 두고 토큰당 상위 8개 전문가만 활성화하는 top-8 라우팅 구조를 채택했다. 여기에 멀티토큰예측(MTP) 레이어용으로 38억 개 파라미터가 추가로 붙어 vLLM과 SGLang에서 추론 속도를 높이는 스펙큘레이티브 디코딩에 활용된다. 코딩 벤치마크인 SWE-Bench Verified에서 78.0점, 과학 지식 평가인 GPQA Diamond에서 90.4점을 기록했다고 텐센트 측은 밝혔다. 270명의 전문가가 참여한 블라인드 비교 평가(총 312건)에서는 4점 만점에 2.67점을 얻어, 경쟁 모델 GLM-5.1의 2.51점을 앞섰다고 전해졌다.
텐센트는 이번 모델이 이전 버전 대비 신뢰성 지표에서도 개선을 이뤘다고 설명했다. 환각(hallucination) 발생률은 12.5%에서 5.4%로, 상식 오류율은 25.4%에서 12.7%로 줄었고 여러 차례 대화가 오가는 멀티턴 상황에서의 오류 비율도 17.4%에서 7.9%로 낮아졌다고 전했다. 장문 대화 이해력을 평가하는 MRCR 벤치마크 점수는 42.9%에서 75.1%로 크게 상승했다는 내부 테스트 결과도 함께 공개됐다.
텐센트는 Hy3를 사내 업무 도구 워크버디(WorkBuddy)와 대화형 서비스 위안바오(Yuanbao), 위챗, 그리고 게임 ‘패스 오브 엑자일: 어드벤트’의 인게임 어시스턴트에 이미 적용했다고 밝혔다. OpenRouter에서는 무료 요금제로 이용할 수 있으나 이 무료 티어는 7월 21일 종료될 예정이며, 이후에는 유료 전환이 이뤄질 전망이다. 텐센트는 압축 및 저비트 양자화를 지원하는 별도 툴킷 ‘앤절슬림(AngelSlim)’과 FP8 양자화 체크포인트도 함께 내놓아 8개 GPU 수준의 환경에서도 모델을 구동할 수 있도록 했다고 설명했다. 다만 성능 비교 수치는 텐센트 자체 발표에 근거한 것으로, 독립적인 제3자 검증은 아직 이뤄지지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
