중국 배달 플랫폼 메이투안이 대규모 오픈 언어모델 ‘롱캣2.0(LongCat-2.0)’을 공개했다. 이 모델은 전체 파라미터 1조6000억 개 규모의 혼합전문가(MoE) 구조로, 토큰당 약 480억 개 파라미터만 활성화하는 방식으로 동작한다. 메이투안은 지난해 내놓은 5600억 파라미터 모델 롱캣플래시의 후속작으로 이번 모델을 소개하며, 목표를 에이전트 기반 코딩 작업의 안정적 수행에 맞췄다고 밝혔다.
롱캣2.0의 핵심은 네이티브 100만 토큰 컨텍스트 윈도를 지원한다는 점이다. 메이투안은 이를 구현하기 위해 자체 개발한 ‘롱캣 스파스 어텐션(LSA)’을 적용했다고 설명했다. 일반적인 어텐션 연산은 문맥 길이가 늘어날수록 계산량이 제곱으로 증가하지만, LSA는 관련성이 높은 토큰만 선별해 연산량 증가를 선형에 가깝게 억제한다. 메이투안은 이 기법이 딥시크의 스파스 어텐션(DSA)을 발전시킨 형태라고 밝혔으며, 스트리밍 인식 인덱싱과 계층 간 인덱싱, 계층적 인덱싱 등 세 가지 색인 방식을 결합했다고 설명했다. 이와 함께 단순한 토큰은 별도 연산 없이 그대로 통과시키는 ‘제로 연산 전문가’ 구조를 도입해, 토큰별 활성화 파라미터가 330억~560억 개 사이에서 동적으로 조정되도록 했다.
메이투안이 자체 공개한 벤치마크에 따르면 롱캣2.0은 소프트웨어 엔지니어링 작업을 평가하는 SWE-bench Pro에서 59.5점을, 셸 환경에서의 실행·오류복구 능력을 보는 터미널벤치 2.1에서 70.8점을, 다국어 저장소 작업을 다루는 SWE-bench 멀티링구얼에서 77.3점을 기록했다고 밝혔다. 메이투안은 SWE-bench Pro 점수가 GPT-5.5(58.6점)를 웃돌며, 전반적 성능은 구글 제미나이 3.1 프로와 비슷한 수준이라고 주장했다. 다만 이 수치는 모두 메이투안 자체 측정 결과이며, 범용 에이전트 벤치마크에서는 상대적으로 밀리는 경향을 보인다고 전해졌다. 독립된 리더보드를 통한 검증은 아직 이뤄지지 않았다.
메이투안은 이번 모델의 학습과 서빙을 전량 자국산 AI 반도체 기반 슈퍼포드에서 수행했다고 밝혔다. 엔비디아 하드웨어를 전혀 쓰지 않았다는 설명이다. 사전학습에는 35조 개 이상의 토큰이 투입됐으며, 이 과정에서 롤백이나 복구 불가능한 손실 급등이 없었다고 메이투안은 주장했다. 서빙 단계에서는 프리필과 디코드를 분리하는 구조와 6차원 병렬화 기법을 적용해 지연시간을 줄였다고 덧붙였다. 롱캣2.0은 MIT 라이선스로 공개될 예정이며, 오픈AI·앤트로픽 호환 API와 오픈라우터 등을 통해 접근할 수 있으나 모델 가중치 공개는 아직 이뤄지지 않은 상태다.
중국 빅테크들의 초거대 오픈 모델 경쟁은 최근 들어 컨텍스트 길이와 에이전틱 코딩 성능을 둘러싼 경쟁으로 옮겨가는 모습이다. 딥시크에 이어 메이투안까지 100만 토큰급 컨텍스트를 앞세운 모델을 내놓으면서, 자국산 반도체 기반 학습·서빙 사례도 늘어나는 추세다. 다만 벤치마크 수치가 대부분 개발사 자체 측정에 의존하고 있어, 실제 성능은 독립 검증과 실사용 피드백을 거쳐야 확인될 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
