대량 문서를 구조화할 때마다 대형 모델을 호출하는 비용을 줄이기 위해 10억 매개변수 미만 온디바이스 모델로 능력을 증류한 연구가 공개됐다. 과제는 뉴스 기사 한 건을 짧은 요약과 다섯 개 범주 라벨이 담긴 JSON 객체로 바꾸는 것이다. 연구진은 80억 매개변수 추론 교사 deepseek-r1:8b의 출력을 6억 매개변수 Qwen3-0.6B에 QLoRA로 학습했다.
비교를 위해 같은 크기의 비추론 교사와 더 큰 관리형 파이프라인을 추가하고, 세 개 시드로 학생 모델을 만들었다. 세 명의 심사 모델이 원문을 기준으로 각 조건을 블라인드 평가했으며 퓨샷 프롬프팅과 제약 디코딩도 기준선에 포함됐다. 학생은 기사당 약 0.8초가 걸려 교사의 39초보다 빨랐고, 요약 품질에서 기본 모델과 교사 사이 격차의 58%를 회복했다.
능력 전이는 교사별로 달랐다. 추론 교사는 글쓰기 품질을, 관리형 파이프라인은 라벨 다양성을 더 잘 전달했다. 같은 크기의 비추론 교사로 훈련한 학생은 튜닝하지 않은 기본 모델보다 나아지지 않았다. 짧고 정보가 적은 기사 22건에서는 같은 크기 지시 모델 계열 학생이 추론 계열 학생보다 원문 충실성에서 더 나은 순서를 보였지만, 연구진은 표본이 작고 전체적으로 유의한 효과가 아니라 방향성으로만 보고했다.
결론은 하나의 소형 모델이 모든 필드에서 최선이라는 가정보다 필드별 라우팅이 필요하다는 것이다. 요약은 추론 교사에서 증류한 모델, 범주 라벨은 다른 파이프라인처럼 출력 요소별 강점을 조합할 수 있다. 온디바이스 처리는 지연과 호출 비용, 데이터 외부 전송을 줄일 가능성이 있지만, 작은 모델이 빈약한 원문에서 내용을 지어낼 위험도 함께 관리해야 한다. 배포 시에는 전체 JSON 정확도만 보지 말고 각 필드의 충실성과 다양성을 따로 측정해야 한다.
원문: arXiv 2607.08268
저작권자 © STORIUM 무단전재 및 재배포 금지
