연구팀이 트랜스포머 기반 시퀀스 변환 모델 BART(Bidirectional and Auto-Regressive Transformers)를 활용해 초급 프로그래밍(CS1) 수업의 C++ 과제를 자동으로 채점하는 시스템을 제안했다. 이 시스템은 루브릭(rubric, 채점 기준표) 맥락을 모델 입력에 직접 포함시키고, 수치 점수와 등급 범주를 동시에 예측하는 멀티태스크 학습(multi-task learning) 방식을 채택해 교수자 채점 결과와의 일치도를 높였다. 모델 학습에는 여러 학기에 걸쳐 수집된 CS1 과제와 수치 점수, 등급 범주, 루브릭을 짝지은 데이터가 사용됐다.
기술적으로는 BART 인코더-디코더 구조에 LoRA(Low-Rank Adaptation, 저차원 어댑테이션) 미세조정을 적용해 모델 크기 대비 효율적인 학습을 구현했다. 단순 이진 정답 레이블 대신 ‘경계 기반 소프트 레이블(boundary-based soft labels)’을 도입해 등급 경계 근처의 모호한 사례를 더 유연하게 처리했으며, 예측 분포와 실제 성적 분포를 일치시키는 분포 정렬 항(distribution-matching term)도 포함됐다. 단일 과제 방식과 멀티태스크 방식, 루브릭 포함과 코드만 사용한 방식 등 여러 구성을 비교 실험했다.
실험 결과 루브릭 맥락을 포함한 경계 기반 소프트 레이블 멀티태스크 BART가 기준 방법보다 낮은 평균 절대 오차(MAE)를 달성했다. 연구팀은 정확도 최적화보다 보정 인식(calibration-aware) 및 루브릭 기반 학습이 교수자의 채점 방식에 더 가까운 결과를 냈다고 분석했다. 단일 과제 방식에 비해 멀티태스크 학습이 일관되게 우위를 보였으며, 루브릭 정보를 추가하면 코드만 입력한 경우보다 성능이 개선됐다.
프로그래밍 교육 현장에서 자동 채점 시스템은 수강생 규모가 클수록 교수자의 부담을 크게 줄일 수 있다. 기존 자동 채점 도구는 주로 테스트 케이스 통과 여부 같은 기계적 기준에 의존했으나, 루브릭 기반 자연어 처리 방식은 논리 구조나 코드 품질처럼 정성적 요소도 반영할 수 있다는 강점이 있다. 이번 연구는 AI 기반 교육 평가가 단순 정답 판별을 넘어 교수자의 판단 체계를 학습하는 방향으로 발전할 수 있음을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
