추론 언어 모델(RLM)이 비영어 입력을 영어로 번역할지 원문 그대로 처리할지를 스스로 선택하도록 훈련하는 강화학습 프레임워크 Luar(Language Understanding Boundary-aware Reinforcement Learning)가 arXiv에 공개됐다. 기존 연구에서 RLM은 복잡한 추론 과제에서 높은 성능을 보이지만, 비영어 입력에 대한 언어 이해 실패로 인해 다국어 성능 격차가 크다는 문제가 있었다. 영어 번역은 이 격차를 줄이는 데 효과적이지만, 모델이 원문으로도 충분히 추론할 수 있을 때 번역은 불필요한 연산 낭비가 된다.
Luar는 모델이 원문 입력을 직접 해결하는 경로와 영어 번역본으로 추론하는 경로 중 하나를 선택하도록 훈련한다. 번역기 보강 추론이 직접 추론보다 크게 앞설 것으로 예상될 때만 번역을 호출하도록 장려하는 방식이다. 다국어 추론 벤치마크에서 Luar는 표준 GRPO와 기타 훈련 기반 기준선을 상회했으며, 특히 저자원 언어에서 큰 성능 향상이 나타났다.
추가 분석 결과 Luar는 직접 추론으로 충분한 경우 불필요한 번역을 회피하면서도, 학습 과정에서 보지 못한 저자원 언어에도 번역 호출 행동을 확장하는 일반화 능력을 보였다. 이는 모델이 자신의 언어 이해 경계를 내재화해 상황에 맞게 전략을 전환하는 메타인지적 역량을 학습했음을 시사한다. 프로젝트 코드는 GitHub(github.com/deokhk/LUAR)에 공개될 예정이다.
LLM의 다국어 성능 불균형은 영어 중심 훈련 데이터의 편중에서 비롯된 구조적 문제다. 특히 저자원 언어 사용자들이 AI 서비스에서 체감하는 품질 격차는 사회적 형평성 측면에서도 중요한 과제로 다뤄지고 있다. Luar의 선택적 번역 접근법은 다국어 추론 격차를 줄이는 실용적인 경로로 주목받을 것으로 보인다.
저작권자 © STORIUM 무단전재 및 재배포 금지
