연구팀이 대규모 언어 모델(LLM)의 다국어 처리 특성을 표현 구조 분석(representational structural analysis)이라는 새로운 시각으로 탐구했다. 영어가 학습 데이터의 대부분을 차지하는 상황에서도 LLM은 여러 언어를 처리하는 능력을 보여왔으며, 이와 관련해 모델이 비영어 텍스트를 어떻게 다루는지 분석하는 연구들이 주로 토큰 표현을 중심으로 진행돼 왔다. 그러나 이 접근은 언어의 본질적 속성인 구조적 특성을 포착하지 못한다는 한계가 있다.
연구팀은 토큰 표현이 아닌 언어 구조 수준에서 LLM의 다국어 처리 방식을 분석했다. 그 결과 저자원(low-resource) 언어는 고자원(high-resource) 및 중자원 언어에 비해 영어와의 구조적 차이가 더 크게 나타났다. 또한 특정 언어에 특화된 사후 학습(post-training)은 해당 언어의 구조를 변화시키면서도 언어 간 관계는 유지하는 방식으로 작용한다는 사실도 확인됐다.
이 연구 결과는 LLM이 학습 데이터에서 충분히 다뤄지지 않은 언어를 처리할 때 구조적으로 불균등한 표현을 형성한다는 점을 시사한다. 기존 다국어 분석은 주로 토큰 단위 표현을 들여다봤기 때문에, 언어가 본래 지닌 구조적 속성이 모델 내부에서 어떻게 자리 잡는지는 충분히 드러나지 않았다. 연구팀이 토큰이 아닌 표현 구조 수준에서 접근하자, 저자원 언어가 영어로부터 더 멀리 떨어져 있다는 점과 함께 언어별 사후 학습이 개별 언어의 구조는 바꾸되 언어 간 관계망은 보존한다는 양상이 함께 관찰됐다. 다국어 모델의 성능 편차를 단순히 학습 데이터 양의 문제로만 보는 기존 시각을 넘어, 언어의 구조적 표현 방식이 함께 고려돼야 한다는 논거를 제공한다. 다만 본 논문의 quality_status가 warn으로 분류됐으므로, 사용된 분석 방법론과 평가 언어 범위에 대한 추가 검토가 권장된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
