교수 평가 자유서술 분류는 최신 거대모델보다 검증 절차가 더 오래 남았다

과달라하라대 연구자는 교수 평가의 자유서술 댓글을 주제와 감성으로 분류하는 기존 절차가 최신 표현 모델과 다른 언어에서도 유지되는지 재검증했다. 비교 대상은 TF-IDF 같은 희소 특징, 2019년 BETO 고정 임베딩, 현대 다국어 임베딩, 소형·최전선 거대언어모델이다. 핵심은 최고 모델을 고르는 것이 아니라 주석 지침과 검증 구조가 모델 교체에도 견디는지다.

스페인어 자료는 한 명의 주석자가 댓글 1165개에 주제 4종과 감성 3종을 붙였고 233개를 최종 보류 세트로 남겼다. 100개를 일주일 간격으로 다시 표시한 주석자 내 Cohen κ는 주제 0.82, 감성 0.88이었다. 모델 선택은 층화 5겹 교차검증을 거쳤지만, 이는 주석자 간 합의가 아니라 한 사람의 시간적 일관성이다. 자료와 평가는 arXiv:2607.11873에 보고됐으며 아직 동료검토 전이다.

영어 감성 전이는 RateMyProfessor 954만 리뷰에서 별점으로 긍정·중립·부정을 만들고 각 1만5000개씩 균형 표집했다. 학습·개발·시험은 3만1500·6750·6750개다. 별점 라벨을 사람 주석 EduRABSA 3000개와 대조했을 때 κ 0.66, 정확도 82%였으며 특히 중립이 약했다.

스페인어 어려운 주제 분류에서는 2026 최전선 모델이 가장 높은 F1을 냈지만 감성은 저비용 모델과 이점이 없었다. 영어에서도 모델 간 기술적 구분이 뚜렷하지 않았고, 고정 임베딩이 비용-정확도 전선에 남았다. 공개된 수치 가운데 소형 Qwen2.5-1.5B의 주제 가중 F1은 제로샷 0.31에서 퓨샷 0.63으로 올랐다.

교수 평가 자유서술 분류는 최신 거대모델보다 검증 절차가 더 오래 남았다 논문의 Figure 2 방법·결과 도표 — Figure 2. Figure 2: Cost versus accuracy on Spanish sentiment. Each arm’s weighted F1 against API cost on a log scale, where the cost coordinate for each LLM marker is that model’s total API spend across the whole benchmark and local arms run at effectively zero API cost. The dashed line is the cost-accuracy frontier. Opus 4.8 sits below Haiku 4.5 despite about 7.7x the total API spend, while the frozen e5 encoder and the open-weights Qwen2.5-1.5B arm are near-free and competitive. 출처: arXiv:2607.11873

검증 항목	표본	결과
스페인어 주제 재주석	100개·1주 간격	Cohen κ 0.82
스페인어 감성 재주석	100개·1주 간격	Cohen κ 0.88
영어 별점 라벨 대 EduRABSA	3000개	κ 0.66·정확도 82%