PredicateLongBench 연구진이 언어모델의 긴 문맥 능력을 하나의 평균 점수 대신 여러 난도 축으로 측정하는 벤치마크를 공개했다. 과제는 긴 입력에서 주어진 조건을 만족하는 가장 긴 연속 단어 구간을 찾는 방식이다. 특정 위치의 정보를 회수하는 ‘건초더미에서 바늘 찾기’와 달리 입력 전체에 규칙을 적용하는 계산 능력을 겨냥했다.
데이터는 무작위 단어 모양 문자열을 만드는 완전 합성 파이프라인과 자연 문서에서 단어를 표본화하는 현실 자료 파이프라인으로 구성된다. 연구자는 문맥 길이, 조건의 형태와 만족 구간 구조를 독립적으로 바꿀 수 있다. 정답은 알고리즘으로 결정되므로 다른 언어모델을 정답 생성기나 심판으로 쓰지 않아도 된다.
연구진은 평가한 최전선 모델도 난도 축이 커질수록 성능을 유지하지 못했다고 보고했다. 이 결과는 모델이 긴 입력을 받아들이는 최대 토큰 수와 입력 전체에서 복합 조건을 안정적으로 계산하는 능력이 다르다는 점을 보여준다. 다만 공개 요약만으로 모델별 표본 수와 전체 수치를 안전하게 압축하기 어려워 특정 모델의 우열을 확정적으로 제시하지 않았다.
통제된 합성 과제는 실패 지점을 반복 측정하기 쉽지만 실제 문서 요약, 법률 검토나 다중 문서 분석의 의미적 복잡성을 그대로 대표하지 않는다. 자연 문서에서 단어를 표본화한 파이프라인도 원문 전체의 담화와 사실 관계를 보존하는 것은 아니다. 벤치마크에 최적화된 풀이 전략이 실무의 긴 문맥 이해로 이어지지 않을 가능성도 있다.
PredicateLongBench는 긴 문맥 성능을 최대 길이 하나로 홍보하기보다 어떤 길이와 조건에서 급격히 떨어지는지 공개하게 하는 진단 도구다. 현재 성능 저하는 연구진의 평가 환경에서 관찰된 결과이며 독립 재현과 실제 업무 상관관계는 더 확인해야 한다. 모델의 활용 한계를 지도처럼 그리는 보조 평가로 보는 것이 적절하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
