부탄 왕립대학교 과학기술대학 연구진이 종카어 입력을 돕는 다음 단어 예측 시스템을 만들었다. 종카어는 한 음절을 입력하는 데 여러 키 조작이 필요해 문서 작성 시간이 길다는 문제의식에서 출발했다. 연구진은 사용자가 앞부분을 입력하면 가능한 다음 단어 목록을 보여주는 웹 애플리케이션을 목표로 LSTM, 양방향 LSTM, GRU 세 순환신경망을 비교했다.
말뭉치는 DCDD에서 확보한 종카어 10만 문장으로, 논문 표에는 단어 1,331,282개, 고유 단어 28,344개, 생성 시퀀스 623,820개가 적혀 있다. 영숫자와 일부 특수기호, 종카어 구두점을 제거한 뒤 TensorFlow 토크나이저로 각 단어에 정수 ID를 붙였다. 이어 N-그램을 만들어 마지막 토큰을 정답 Y, 앞선 토큰을 입력 X로 삼았다. 대다수 문장에 맞춰 최대 길이를 22로 정하고 앞쪽을 0으로 패딩했다.
모델은 임베딩과 순환층, 완전연결층, 어휘 크기의 소프트맥스 출력으로 구성됐다. 본문의 GRU 설명은 첫 순환층 512유닛과 두 번째 256유닛을 제시하지만, 결과 절은 세 모델 비교 조건으로 200에폭, 순환층 2개, 뉴런 1024·512, 배치 500, 조기 종료 10, 드롭아웃 0.2를 적었다. 손실은 희소 범주형 교차엔트로피를 사용했고, 에폭·배치·검증 분할과 층 크기 등을 조정했다고 설명한다.
10만 문장 비교표에서 LSTM은 8시간에 정확도 60%, 양방향 LSTM은 13시간에 70.79%, GRU는 15.33시간에 74.03%를 기록했다. 연구진은 GRU가 가장 높은 정확도를 보여 웹 앱에 통합했다고 보고했다. 프런트엔드는 HTML·CSS·자바스크립트와 Bootstrap, 백엔드는 Django, 데이터베이스는 SQLite를 사용했고 모델 훈련은 Google Colab에서 수행했다.
작은 2만 문장 실험에서는 LSTM 73.79%, 양방향 LSTM 71.14%, GRU 70.04%였으나 연구진은 과적합이 있었다고 썼다. 데이터 확대와 하이퍼파라미터 조정 뒤에는 GRU가 74.03%로 올라 과적합을 해결했다고 주장한다. 그러나 Figure 5–7의 곡선과 표의 정확도 관계가 명확히 설명되지 않고, 훈련·검증·시험 데이터 분할 비율과 독립 시험셋 구성도 제시되지 않아 이 주장을 수치만으로 확정하기 어렵다.
| 항목 | 값 | 원문 근거 |
|---|---|---|
| 말뭉치 규모 | 100,000문장 / 1,331,282단어 | PDF p.3, Table 2; p.5, Table 3 |
| 어휘·시퀀스 | 28,344 고유 단어 / 623,820 시퀀스 | PDF p.3, Table 2 |
| LSTM | 8시간 / 60% | PDF p.5, Table 4 |
| Bi-LSTM | 13시간 / 70.79% | PDF p.5, Table 4 |
| GRU | 15.33시간 / 74.03% | PDF p.5, Table 4 |
자료: STORIUM 정리
이 연구는 대규모 언어모델보다 단순한 순환신경망으로 저자원 언어 입력 도구를 구현한 사례라는 의미가 있다. 반면 키 입력 감소율, 추천 상위 k개의 적중률, 실제 사용자 타이핑 속도는 측정하지 않았다. 다른 말뭉치나 방언으로의 일반화, 오탈자 처리, 어휘 밖 단어 평가도 없다. 2026년 7월 공개된 arXiv 프리프린트이므로 74.03%는 논문이 정의한 내부 정확도이며, 현장 성능으로 일반화하려면 재현과 사용자 평가가 필요하다.
1차 출처: https://arxiv.org/abs/2607.11515
저작권자 © STORIUM 무단전재 및 재배포 금지
