모하메드 아민 메르주크(Mohamed Amine Merzouk), 아담 오버먼(Adam Oberman) 등 연구진이 대규모 언어모델(LLM)이 답변을 생성하기 전부터 이미 전체 응답 길이에 대한 내부적인 추정치를 갖고 있다는 사실을 실험으로 확인했다. LLM은 한 번에 토큰 하나씩 순차적으로 생성하는데도, 단계별 풀이가 예측 가능한 토큰 수로 수렴하거나 검색성 답변이 몇 문장 안에 끝나는 등 응답 길이에 놀라울 만큼 일관된 구조가 나타난다는 점에 연구팀은 주목했다.
연구팀은 70억~80억 개 매개변수 규모의 오픈웨이트 모델 세 종을 대상으로, 모델의 고정된 은닉 상태 위에 최소한의 용량만 가진 선형 프로브(probe)를 학습시켜 일곱 개의 완성형 데이터셋에서 검증했다. 그 결과 세 가지 수렴하는 증거를 확인했다고 밝혔다. 첫째, 어떤 출력도 생성되기 전, 즉 프롬프트의 마지막 은닉 상태만으로도 전체 응답 길이를 선형적으로 해독할 수 있었다. 둘째, 자연어 데이터셋으로 학습한 프로브 방향은 학습 때 본 적 없는 통제된 합성 완성문에도 폭넓게 전이돼 통계적 기준선보다 우수한 성능을 보였으며, 반대 방향의 전이는 대체로 실패해 이 비대칭성 자체가 의미 있는 신호였다고 설명했다.
셋째, 오류율이 높은 완성문을 선별해 분석한 결과, 모델이 부분적인 풀이를 철회하고 다시 시작하는 순간 프로브가 추정하는 위치별 남은 길이가 위쪽으로 이동하는 방향성 있는 변화가 관찰됐다. 연구팀은 이는 위치 정보만으로는 재현할 수 없는 현상이라고 강조했다. 이러한 결과를 종합해 연구팀은 이를 트랜스포머의 정확한 토큰 수 계산이 불가능하다는 기존 이론적 한계와는 구분되는, ‘남은 생성 길이에 대한 근사적 추정’으로 규정했다.
연구팀은 이번 발견이 LLM이 계획과 유사한 내부 표현을 출력 길이에 대해 유지하고 있음을 보여주는 증거라고 해석했다. 다만 이 표현은 해독은 가능하지만 실제로 모델이 이를 인과적으로 활용한다는 뜻은 아니라는 점을 분명히 했다. 이 연구는 LLM 내부 작동 방식을 들여다보는 해석가능성(interpretability) 연구의 연장선에 있으며, 향후 응답 길이 제어나 조기 종료 판단 등 실용적 응용으로 이어질 가능성이 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
