대규모 언어 모델(LLM)이 과학 연구에 깊이 관여하면서, 고위험 과학 맥락에서 모델의 안전성을 평가하는 표준 기준이 필요하다는 요구가 커지고 있다. 이에 대응해 과학 AI 안전성을 위험 차원 관점에서 평가하는 벤치마크 SciRisk-Bench가 공개됐다. 기존 AI4Science(과학을 위한 AI) 안전 데이터셋이 여러 학문 분야와 과제 형식을 다루면서도 그 밑에 있는 구체적인 위험 차원을 명확히 규정하지 못한다는 문제의식에서 출발했다.
SciRisk-Bench는 두 가지 상보적 관점에서 AI4Science 안전성을 평가한다. 하나는 명시적 위험 차원이고, 다른 하나는 과학 분야별 접근이다. 벤치마크는 7개 학문 분야, 31개 세부 분야, 10개 위험 차원을 포괄한다. 실험 섹션에서는 주류 LLM과 과학 특화 LLM을 위험 차원, 학문 분야, 세부 분야 전반에 걸쳐 평가함으로써 어느 영역에서 과학 모델이 안전하지 않은지를 세밀하게 진단할 수 있다.
LLM은 이미 과학적 질의응답, 문헌 분석, 실험실 계획, 자율 발견 등 다양한 AI4Science 워크플로우에 활용되고 있다. 이러한 활용이 확산될수록 모델이 과학적 역량을 갖추는 것 못지않게, 고위험 과학 맥락에서 위험을 인식하고 회피하는 능력을 갖추고 있는지 평가하는 것도 중요해진다. 기존 안전 벤치마크가 일반적인 유해 콘텐츠 회피에 초점을 맞춘다면, SciRisk-Bench는 과학 연구 환경에서 나타나는 특수한 위험 유형을 구조적으로 다룬다는 점에서 차별화된다.
연구진은 이 벤치마크를 통해 과학 분야에서 AI 안전성 논의가 보다 정교해지기를 기대한다. 주류 LLM과 과학 특화 LLM 모두를 동일 기준으로 비교함으로써, 현재 모델들이 어떤 위험 차원에서 취약한지를 드러내고 향후 개선 방향을 제시하는 데 기여할 것으로 보인다.
