NVIDIA와 MIT 연구진은 별도 재학습 없이 로터리 위치 임베딩을 조정해 언어모델의 문맥을 최대 128K 토큰까지 확장하는 Jet-Long을 공개했다. 2026년 7월 8일 공개된 arXiv 프리프린트다. 고정된 확장 비율을 쓰는 기존 무튜닝 방식이 짧은 입력의 원형 보존과 긴 입력의 위치 압축 사이에서 겪는 상충을 줄이는 것이 목표다.
Jet-Long은 원래 RoPE를 유지하는 국소 창과 현재 시퀀스 길이에 맞춰 재조정 비율을 바꾸는 장거리 창을 결합한다. 짧은 입력에서는 기반 모델의 위치 표현을 그대로 복원하고, 먼 키에는 필요한 만큼만 압축을 적용한다. 포함-배제 방식으로 어텐션을 병합하고 실행 중 보정 회전을 수행하며, 연구진은 이를 하나의 CuTe 커널로 융합했다.
평가는 Qwen3 1.7B·4B·8B 모델과 4K~128K 길이의 RULER 13개 과제, HELMET-RAG, PG-19를 사용했다. 논문이 보고한 RULER 점수는 가장 강한 비교 방식보다 모델별로 4.79·2.18·2.03%포인트 높았다. HELMET-RAG에서는 전체 정확도가 가장 높고 PG-19에서는 가장 낮은 퍼플렉서티를 기록했다고 밝혔다. 이는 논문 저자들의 실험 결과이며 외부 재현 수치는 아니다.
효율 측정은 H100 GPU에서 이뤄졌다. 긴 문맥 프리필 처리량은 FlashAttention 2 대비 최대 1.39배였고, 배치 1 생성의 추가 부담은 평가한 모든 길이에서 4% 이하였다고 보고했다. 다만 ‘최대’ 수치는 특정 모델·길이 조합의 상한이며 모든 환경의 평균을 뜻하지 않는다. 메모리 사용량과 처리량은 커널, 배치, 하드웨어에 따라 달라질 수 있다.
결과 범위는 Qwen3 계열과 공개 벤치마크, H100 중심이다. 실제 저장소 단위 코딩이나 장기 에이전트 작업에서 정보 회수와 추론 품질이 유지되는지, 다른 RoPE 모델과 소비자 GPU에서도 같은 이점이 나오는지는 확인되지 않았다. 프리프린트와 공개 코드에 대한 독립 재현, 동일 메모리 예산의 비교가 뒤따라야 일반적 문맥 확장법으로 평가할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
