[태그:] MoE

알리바바 Qwen팀이 2.4조 파라미터 MoE 모델 Qwen3.8-Max를 정식 공개했다. 컨텍스트 100만 토큰, 오픈웨이트는 다음 주 예정이다.

엔비디아가 네모트론 3 슈퍼를 압축한 퍼즐 75B 모델을 공개했다. 파라미터를 줄여 서버 처리량과 초장문 동시 처리 능력을 크게 끌어올렸다.

엔비디아가 음성과 텍스트를 하나의 모델로 처리하면서도 기반 모델의 언어 지능을 유지한 통합 오디오-텍스트 LLM 오덱스를 공개했다.

텐센트가 총 295B·활성 21B 규모의 MoE 모델 Hy3를 아파치 2.0 라이선스로 공개했다.

아마존이 완전관리형 서비스 베드록에 미니맥스 M2 계열 3종을 추가하며 저비용 에이전트형 AI 시장을 겨냥했다.

중국 메이투안이 1.6조 파라미터 MoE 모델 롱캣2.0을 공개, 네이티브 100만 토큰 컨텍스트를 지원한다.

LLM, RAG, MoE부터 최근 화제인 RAM 품귀 현상까지, 실무에서 자주 쓰이는 AI 핵심 용어를 정리했다.

Goldfeder 외 2026년 논문을 분석한 Dharma AI는 최적화 이론·생물학·시장경제·머신러닝 네 분야가 모두 AI 특화를 필연적 귀결로 지목한다고 밝혔다. 범용성은 이론적 ...

엔비디아 블랙웰 가속 인프라에서 MiniMax M3 배포 지원이 공식화됐다. 총 4280억 파라미터 MoE 구조로 최대 100만 토큰 컨텍스트를 처리한다.

바이두가 장문서 파싱에 특화된 3B 파라미터 OCR 모델 'Unlimited OCR'을 공개했다. 독자 설계한 참조 슬라이딩 윈도우 어텐션으로 KV 캐시를 고정해, ...

Prime Intellect가 강화학습 프레임워크 prime-rl 0.6.0을 공개했다. 조 단위 파라미터 MoE 모델을 에이전트형 RL 작업에 적용할 수 있는 기능을 갖췄으며, ...

MiniMax가 공개한 MSA는 두 갈래 구조로 블록 단위 희소 어텐션을 구현해 100만 토큰 문맥에서 연산량을 28배 줄이고, MiniMax-M3 모델에 적용됐다.