대학 수준 EFL 수업에서 AI가 만든 교정 피드백이 실제 학습 맥락에서 얼마나 유용한지 묻는 연구다. 이 논문은 동료검토 전 arXiv 프리프린트로, 대규모 영어 작문 수업에 투입된 피드백 시스템을 교사 평가와 학생 반응이라는 두 축으로 살폈다. 핵심은 사실성이나 관련성이 높아 보여도 학습자 관점에서는 충분하지 않을 수 있다는 점이다.
실험은 필수 영어 학술목적과정(EGAP) 온라인 수업에서 이뤄졌다. TOEFL ITP 550점 미만의 2학년 학부생을 대상으로 했고, 분석에는 1,899명의 학생이 남았다. 전체 초안은 20,255개였으며, 학생당 평균 6.08편의 에세이가 완성됐다. 에세이 1편당 초안 수는 평균 1.75개였다.
시스템은 세 가지였다. 템플릿만 쓰는 기준형, LLM이 문장쌍 차이를 해석해 피드백을 만드는 단순형, 그리고 편집 단위를 더 잘게 나눠 각 수정마다 하나씩 코멘트를 만드는 atomic edit형이다. 모두 같은 화면에서 제시됐고, 학생은 자동 수정이 아니라 직접 문서를 고쳐야 했다. 분석 대상 WCF 코멘트는 총 144,790개였다.
교사 평가는 영어교육 경력 9년 이상인 교사 4명이 맡았다. 표본은 581개로, 그중 295개는 좋아요·싫어요 버튼이나 열람 기록이 남은 고참여 집합이었고 286개는 시스템과 CEFR 수준을 균형 있게 맞춘 일반 집합이었다. 학생 쪽에서는 좋아요·싫어요 응답이 597건, 이 중 서로 다른 학생은 259명이었다.
결과는 교사 점수와 학생 반응이 쉽게 겹치지 않음을 보여준다. 학생의 49.76%는 문법 피드백 탭을 아예 열지 않았고, 열람한 경우 평균 코멘트 열람 수는 20.4개였다. 비제로 열람 평균은 CEFR A1 3.29, B1 6.57, B2 7.98로 높아졌다. 교사 평정은 평균 4점대였지만, 좋아요가 붙은 코멘트의 평균 평정 4.12와 싫어요 3.83, 단순 열람 4.04 사이 차이는 유의하지 않았다(p=0.0625).
| 구분 | 수치 | 근거 |
|---|---|---|
| 분석 학생 수 | 1,899명 | p.3 | source_excerpt: "In all, we collected 20,255 drafts from 1,899 participating students" |
| 초안 수 | 20,255개 | p.3 | source_excerpt: "In all, we collected 20,255 drafts" / p.4 dataset summary |
| 총 WCF 코멘트 수 | 144,790개 | p.4 | source_excerpt: "Total WCF count 144,790" |
| 학생 열람 평균 | 20.4개 코멘트 | p.4 | source_excerpt: "Among those who engaged, the average number of WCF comments viewed was 20.4" |
| 교사 평가 표본 | 581개 | p.4 | source_excerpt: "We set a target of 600 WCF comments, from which we selected 581" |
자료: STORIUM 정리
이 연구가 제시하는 메시지는 명확하다. 교사 루브릭만으로는 AI 교정 피드백의 실제 사용성이나 도움됨을 충분히 포착하지 못할 수 있다는 것이다. 반대로 학생 반응만으로도 교육적 질을 모두 설명할 수는 없다. 따라서 언어교육에서의 AI 평가는 전문가 판단과 학습자 경험을 함께 묶는 틀이 필요하다는 결론으로 이어진다.
저작권자 © STORIUM 무단전재 및 재배포 금지
