초중고(K-12) 교육 현장에서 AI가 생성한 설명 자료가 학생에게 어떤 위험을 끼칠 수 있는지 평가하기 위한 새로운 데이터셋이 공개됐다. 연구진은 논문 “AIriskEval-edu: New Dataset for Risk Assessment in AI-mediated K-12 Educational Explanations”을 통해 ‘AIriskEval-edu-db2’라는 데이터셋을 소개하고, 이를 활용해 LLM 기반 감사(auditor) 모델을 학습·평가한 결과를 아카이브(arXiv)에 발표했다.
이 데이터셋은 초중고 과학 문제은행 ScienceQA에서 선별한 170개 문항을 토대로 구성됐다. 각 문항마다 실제 교사가 작성한 설명과 함께, 서로 다른 교육학적 위험 유형을 지니도록 설계된 LLM 시뮬레이션 교사 프로필이 만든 11개의 설명이 짝지어져 있다. 이렇게 만들어진 설명 자료는 총 1,639개에 달하며, 과학·언어·사회 영역을 두루 포괄한다. 연구진은 실제 교사의 정상적인 설명과 위험 요소가 내포된 AI 생성 설명을 나란히 비교할 수 있도록 데이터를 짰다고 설명했다.
연구진은 AI가 생성한 교육 설명의 위험성을 판단하기 위한 다섯 가지 평가 기준도 함께 제안했다. 사실적 정확성, 설명의 깊이와 완결성, 초점과 관련성, 학년 수준 적합성, 이념적 편향이 그 기준이며, 이는 기존 교육 표준을 참고해 마련됐다. 이 가운데 785개의 설명 자료에는 위험이 어느 부분에서 발생했는지(위험 위치)와 왜 위험한지(위험 설명)를 짚어주는 구조화된 설명 가능성 주석이 추가됐다. 이 주석은 반자동화된 절차와 전문 교사의 검증을 거쳐 만들어졌다고 연구진은 밝혔다.
연구진은 이 데이터셋을 활용해 최신 상용 LLM과 경량화된 로컬 모델인 라마(Llama) 3.1 8B를 교육학적 위험 탐지 및 설명 가능성 평가 과제에서 비교하는 검증 실험도 진행했다. 실험의 목적은 AIriskEval-edu-db2로 지도 미세조정(supervised fine-tuning)을 거친 로컬 모델이, 개인정보를 서버로 보내지 않고도 더 크고 강력한 프론티어 모델 수준의 판단력에 도달하거나 이를 능가할 수 있는지 살펴보는 것이었다. 데이터 파이프라인 구축 사례처럼 학습용 데이터를 체계적으로 축적하는 시도가 이어지는 가운데, 교육 분야에서도 AI 활용의 안전성을 정량적으로 검증하려는 움직임이 확산하는 모습이다.
