대규모 언어 모델(LLM)은 한 번도 본 적 없는 대상을 물었을 때 가장 심하게 환각을 일으킨다. 그렇다면 모델은 정답 토큰을 한 글자도 내놓기 전에, 자기 내부 상태만으로 그 대상이 낯선지 아닌지를 이미 ‘알고’ 있을까. 최근 arXiv에 공개된 한 논문(동료심사 전 공개본)이 폴란드어 모델 비엘릭(Bielik)을 대상으로 이 질문을 파고들었다.
연구진은 매개변수 규모가 다른 비엘릭 모델 네 종(1.5B~11B)에서, 운동선수·도시·작가·음악가 네 개 영역을 살폈다. 각 영역마다 널리 알려진 개체 42개, 실재하지만 잘 알려지지 않은 개체 42개, 아예 지어낸 가짜 개체 42개를 한 문장 질문으로 물어 모델당 504개의 프롬프트를 던졌다. 그리고 답을 생성하기 직전의 내부 활성화가 얼마나 퍼져 있는지를 두 가지 비지도 지표로 측정했다. 그 결과 이 분산 신호만으로 알려진 개체와 가짜 개체를 AUROC 0.95~1.00 수준으로 갈라냈고, 지도학습 탐침으로는 0.99~1.00에 이르렀다. 신호는 실제 이름 사이(유명 대 무명)에서도 0.96~1.00으로 유지됐고, 개체 유형을 넘나들며 옮겨갔다.
흥미로운 지점은 이 표현 신호가 가장 작은 1.5B 모델에서 이미 한계치에 도달해 있었다는 점이다. 반면 실제로 정답을 맞히는 행동상의 사실 정확도는 규모에 따라 가파르게 올라갔다. 엄격한 판정 기준에서 잘 알려진 운동선수 42명 중 완전히 정확하게 답한 수는 1.5B·4.5B·7B·11B 모델에서 각각 0명, 2명, 10명, 19명에 그쳤다. 즉 모델은 대상이 낯설다는 것은 작을 때부터 감지하지만, 그 대상에 대해 옳게 답하는 능력은 별개로 성장한다는 뜻이다.
다만 알려진 개체 안에서 정답과 환각을 가려내는 일은 훨씬 어려워, 분산 지표가 첫 토큰 엔트로피 기준선보다 나을 것이 없었다. 다섯 표본을 쓰는 의미 엔트로피 기준선은 다섯 배 비싼 추론 비용을 치르고도 0.71~0.83에 머물렀다. 또 2520개 답을 감사했을 때 모델이 답을 거부한 경우는 2건, 얼버무린 경우는 1건에 불과해, 모른다고 물러서는 능력은 사실상 없었다. 연구진은 개체 친숙도와 사실 정확도가 서로 다른 확장 곡선 위에 있는 별개의 현상이라고 결론지었다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
