법률 문서 번역은 언어적 난도와 개념적 정밀도가 동시에 요구되는 분야로, 일반 번역보다 오류 허용 폭이 훨씬 좁다. arXiv 프리프린트인 이 논문은 스위스 법률 체계를 대상으로, 추론형 거대모델을 바로 쓰는 방식과 소형 언어모델을 재학습시키는 방식, 그리고 강화학습을 적용하는 방식을 나란히 비교했다. 비교 대상은 Qwen3.5 4B, Qwen3.5 9B, Gemma 3 12B이며, 검증 범위는 스위스의 다언어 법령 환경이다. 연구진은 추론을 번역 이전 단계에 넣는 접근이 실제로 도움이 되는지 보려 했고, 이를 위해 서로 다른 재학습 패러다임을 적용한 소형 모델들의 성능을 최첨단 추론 모델과 견줬다. 핵심은 단순히 번역 품질을 높이는 데 그치지 않고, 중간 추론 단계가 법률 번역에서 어떤 역할을 하는지 분리해 보는 데 있다. 또 강화학습은 Group Relative Policy Optimization(GRPO) 기반으로 설계해, 법률 번역에 맞는 보상식을 함께 제시했다.
데이터 측면에서는 SwiLTra-Bench의 SwissLawTranslations 하위집합을 사용했다. 학습에는 약 631k 정렬 번역쌍이 포함되고, 평가에는 22.7k 문장쌍이 사용됐다. 여기에 DeepSeek-R1로 생성한 중간 추론 단계를 더한 40,000개 법률 번역쌍을 새로 공개했으며, ChrF 점수의 중앙값 64.19보다 높은 샘플만 남겨 최종적으로 19,979쌍을 학습·검증용으로 구성했다. 이 가운데 90%는 학습, 10%는 검증에 배정했다.
평가에서는 ChrF, METEOR, COMET, MetricX를 함께 썼고, 인간 평가와의 상관도도 따로 점검했다. 사람 평가용으로는 240개 번역쌍을 표집했으며, 그 결과 COMET이 가장 높은 상관계수 0.24을 보였다. 대규모 추론 모델의 기준선으로는 OpenAI o3가 COMET 85.92, o3-mini가 84.21, DeepSeek-R1이 84.35를 기록했다. 반면 Mistral-Small-2503은 가격이 0.15달러/100만 토큰으로 낮았지만 COMET은 84.41이었다.
소형 모델 쪽에서는 강화학습의 효과가 비교적 뚜렷했다. Qwen3.5 4B는 기본 모델의 COMET 77.05에서 RL 후 79.47로 올랐고, Qwen3.5 9B는 77.99에서 81.52로 향상됐다. Gemma 3 12B는 82.49에서 83.08로 소폭 개선됐다. 반면 단순 SFT는 Qwen3.5 4B에서 76.47, 9B에서 77.25로 나타났고, 추론 단계를 넣은 SFT는 4B에서 69.88, 9B에서 76.88으로 더 낮았다. 논문은 RL이 SFT보다 더 큰 성능 향상을 보였고, 작은 모델일수록 그 효과가 더 두드러졌다고 정리한다.
| 구분 | 수치 | source_locator |
|---|---|---|
| 학습 데이터 | 약 631k aligned translation pairs | p.3 | Datasets |
| 평가 데이터 | 22.7k sentence pairs, 필터 후 18.1k sentence pairs | p.3 | Evaluation Dataset |
| 추가 공개 데이터 | 40,000 legal translation pairs | p.2 | contributions |
| 사람 평가 표본 | 240 translation pairs | p.7 | Human Evaluation |
자료: STORIUM 정리
전체적으로는 재학습된 소형 모델이 최첨단 추론 모델에 가까워지지만 여전히 뒤처졌고, 모델 크기가 커질수록 재학습의 추가 이득은 줄어드는 경향이 확인됐다. 평가 전체를 돌리는 데는 Simple SFT가 약 30분, Reasoning SFT는 출력이 길어져 3~6시간이 걸렸다고 적었다. 이 결과는 법률 번역에서 추론을 곁들인 학습이 유효할 수 있으나, 번역 품질만 놓고 보면 아직 대형 추론 모델을 완전히 넘어서지는 못한다는 점을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
