언어모델이 여러 방언 영어를 점점 잘 알아듣게 됐지만, 정작 출력은 대부분 표준 미국식 영어에 머문다는 문제를 파고든 연구가 나왔다. 조던 페인터 등 연구진은 방언 생성 능력을 별도로 다룬 DiaLLM 연구를 arXiv에 사전 공개했다. 아직 동료심사를 거치지 않은 원고다.
연구진은 모델이 방언을 이해하는 능력은 나아지는 반면 방언을 실제로 생성하는 능력은 상대적으로 방치돼 왔다고 지적한다. 이를 살펴보기 위해 세 개 오픈웨이트 모델 계열을 국제 영어 코퍼스(International Corpus of English)로 지속 사전학습(continual pretraining)하고, 암묵적·명시적 사후학습 방법과 세 가지 정렬(alignment) 전략을 결합해 호주 영어, 인도 영어, 북부 영국 영어에 걸쳐 실험했다.
핵심 발견은 방언 강건성(robustness)과 방언 생성이 서로 분리돼 있다는 점이다. 벤치마크 성능은 사전학습과 지도 미세조정(supervised fine-tuning)이 주도하는 반면, 정렬 방법은 벤치마크가 측정하지 못하는 방식으로 생성에 영향을 준다. 방언 종류를 겨냥한 명시적 적응 방식은 방언으로 더 확실히 식별되는 출력을 내놓아 평가자들의 선호를 받았지만, 방언 보상 신호를 가장 강하게 밀어붙인 기법이 사람이 선호한 기법과 일치하지는 않았다. 연구진은 이를 별도 언어학적 분석으로도 확인된 ‘보상-품질 격차’라 불렀다.
연구진은 모든 상황에서 최선인 단일 정렬 방식은 없으며, 진전을 위해서는 개선된 보상 설계와 방언별 자원에 대한 더 큰 투자가 필요하다고 결론지었다. 아울러 모든 코드와 체크포인트, 선호 데이터셋을 공개한다고 밝혔다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
