범용 LLM이 한국어와 점자를 오가는 번역에서 거부하거나 잘못된 문자열을 내놓는다는 평가 결과가 나왔다. orinu 소속 Abdullah Abdullah의 연구는 GPT-5 계열, Gemini-3-pro, GPT-4.0, HCX-3, Opus-4.5를 통제된 소규모 탐색 평가에 넣고, 별도로 소형 T5 기반 모델 BT5를 학습했다. 이 논문은 ACL 2026 LTEDI 워크숍 채택 논문이다.
학습·평가 자료는 국립국어원 한국어-점자 병렬 말뭉치 2023 v1.0의 문장쌍 12만6693개다. 신문 기사 12만5701개와 온라인 게시물 992개로 구성됐고, 학습 10만1354개·검증 1만2669개·시험 1만2670개로 분리됐다. BT5는 T5-small을 바탕으로 한국어와 점자 유니코드를 함께 다루는 3만2000개 BPE 토크나이저를 사용했다.
한국어에서 2급 약자 점자로 번역하는 전체 시험 세트에서 BT5는 SacreBLEU 95.79, ChrF++ 98.64, 문자 오류율 0.0043을 기록했다. 규칙 기반 Liblouis는 각각 71.94, 85.65, 0.0568이었다. 반대 방향인 점자-한국어 번역에서도 BT5의 BLEU-4는 0.9662로 Liblouis의 0.0310보다 높았다.
범용 LLM 비교는 전체 시험 세트가 아니라 5개 샘플의 통제된 탐색 평가다. 한국어-점자 방향에서 GPT-5와 GPT-5-mini는 5건 모두 거부했고, Gemini-3-pro는 3건 거부와 2건 무효 출력을 보였다. GPT-4.0과 HCX-3는 5건 모두 무효였으며, Opus-4.5만 5건을 유효 형식으로 냈지만 정확도는 낮았다.
| 모델 | SacreBLEU | ChrF++ | CER(낮을수록 좋음) |
|---|---|---|---|
| Liblouis | 71.94 | 85.65 | 0.0568 |
| BT5 | 95.79 | 98.64 | 0.0043 |
자료: STORIUM 정리
저자가 한 명이고 범용 LLM 평가는 샘플 5건에 그쳐 모델 간 일반적 우열을 단정하기 어렵다. 말뭉치도 주로 신문 문장이라 대화·교육·생활 문서로의 일반화는 별도 확인이 필요하다. 다만 공식 규정에 맞춰 전문가가 교정한 자료로 학습한 소형 모델이 접근성 핵심 과제에서 범용 모델보다 안정적인 결과를 낼 수 있음을 수치로 보여줬다.
저작권자 © STORIUM 무단전재 및 재배포 금지
