같은 평가 기준을 쓰고 피드백의 출력 방식만 바꿨을 때, 즉각적인 문제 품질 향상은 예시형이 더 컸다. 향상 폭 중앙값은 예시형 1.83(IQR 2.00), 유도 질문형 0.67(IQR 1.08)이었고 차이는 W=25.5, p=.005, r=.63이었다. 원문에서 수정본으로의 전체 향상도 Z=-3.83, p<.001, r=.88로 유의했다.
파일럿에는 컴퓨터과학 대학원생 20명이 참가했고 17명은 조교였다. within-subjects, counterbalanced 설계로 각 참가자가 Handshake와 Making Change를 서로 다른 순서로 수행했다. 연습용 Food Truck 시나리오 뒤 각 과제에서 문제 세 개를 만들고, 초안 제출과 LLM 피드백을 거쳐 한 번 수정했다.
두 시스템은 GPT-4o와 OpenAI API를 사용했다. Bloom’s Taxonomy에 근거해 개념 정확성, 구조적 명료성, 인지적 요구를 평가했다. 유도 질문형은 되짚어 볼 질문 두 개를, 예시형은 고쳐 쓴 문제 예시 두 개를 냈다. 계산을 대신 풀거나 원문에 없는 수학 내용을 보태지 않도록 제한했다.
과제별 차이는 문제 공간에 따라 달랐다. 더 열린 Making Change에서는 예시형이 강했고 novelty p<.001, cognitive demand p=.005, structural clarity p=.027의 차이가 있었다. 범위가 좁은 Handshake에서는 두 조건의 차이가 유의하지 않았다.
사용자 경험에서도 예시형의 실용성은 5.51 대 4.76(p=.004), 전체 UEQ는 5.25 대 4.69(p=.006)로 높았다. 즐거움, 소유감, 주도성, 만족도, 인지부하 총점에는 유의한 차이가 없었다. 인터뷰에서는 질문형이 문제 설계를 더 깊이 돌아보게 했고, 예시형은 막혔을 때 바로 적용하기 쉽다는 반응이 나왔다.
| 지표 | 유도 질문형(Indirect) | 예시형(Direct) | 검정 |
|---|---|---|---|
| 품질 향상 중앙값 | 0.67 (IQR 1.08) | 1.83 (IQR 2.00) | W=25.5, p=.005, r=.63 |
| UEQ 실용성 평균 | 4.76 (SD 0.94) | 5.51 (SD 0.76) | W=28.0, p=.004 |
| UEQ 전체 평균 | 4.69 (SD 0.90) | 5.25 (SD 0.71) | W=26.5, p=.006 |
자료: STORIUM 정리
연구진은 질문형으로 성찰을 유도한 뒤 막히는 시점에 예시형으로 바꾸는 순차 사용을 제안했다. 그러나 표본은 대학원생 20명이고 no-scaffolding 조건이 없으며, 두 시나리오와 단일 세션만 다뤘다. arXiv:2607.09628v1은 이런 제약을 가진 동료검토 전 파일럿 보고서다.
저작권자 © STORIUM 무단전재 및 재배포 금지
