PredicateLongBench 연구진, 긴 문맥 추론 난도 축별 평가 공개…최전선 모델도 저하
문맥 길이와 조건 복잡도를 분리 조절하는 평가에서 최전선 모델의 성능 저하를 보고했지만 실제 문서 업무와는 차이가 있다.
[태그:] 긴문맥
Jet-Long 연구진, Qwen3 128K 문맥서 RULER 최대 4.79%p 개선 보고
Jet-Long이 재학습 없이 동적 이중초점 RoPE를 적용해 Qwen3 128K 평가에서 RULER를 최대 4.79%포인트 높였다고 보고했다.
트랜스포머 ‘선형화’의 열쇠…어떤 요소가 품질 지키나 분석 공개
긴 문맥 처리의 병목인 어텐션의 이차 비용을 낮추는 트랜스포머 선형화에서, 어떤 설계가 품질을 지키는지 분석한 연구가 arXiv에 공개됐다. 최대 32B ...
