대형 언어모델의 생물학적 오용 우려가 커지는 가운데, 한 프리프린트 논문이 고위험 정보와 정상적인 과학 지식을 더 정밀하게 가르려는 거절 벤치마크를 제시했다. BioTIER(Biological Targeted Information for Exclusion and Refusal)는 생물학 콘텐츠를 Catastrophe Avoidance(CA), Biomedical DURC(BD), Related Biology(RB) 세 집합으로 나누고, 접근 정책을 세분화할 수 있도록 설계됐다.
연구진은 현재 안전 정책이 생물학 콘텐츠 전반을 넓게 거절하는 방식과 비교적 관대하게 허용하는 방식으로 갈라져 있다고 본다. 전자는 유익한 과학 내용까지 막을 수 있고, 후자는 악용 가능성이 큰 정보를 충분히 좁히지 못할 수 있다는 문제의식이다. BioTIER는 이런 양극단을 피하기 위해, 위험한 정보만 따로 식별·차단하는 목표를 뒀다.
벤치마크의 핵심은 542개의 전문가 검토 프롬프트다. 이 프롬프트들은 바이러스 면역회피, 병원체 진입, 고위험 병원체의 기능획득 조작, DNA 합성 감시 우회 같은 CA 항목부터, 병원체 유전공학 일반, 배양을 통한 생체 시료 확보, 바이러스 역유전학, 공기 중 전달 같은 BD 항목, 그리고 바이러스 구조·생애사·진단·역학·생물안전 같은 RB 항목까지 폭넓게 덮는다. 작성은 바이러스학, 미생물학, 생물안보, 이중용도 연구 분야의 박사급 전문가 15명이 맡았다.
평가는 2026년 3월 버전의 BioTIER 프롬프트로 10개 주요 개발사의 52개 최전선 LLM을 대상으로 진행됐다. 논문은 모델들이 BioTIER-refuse 준수에서는 폭넓게, BioTIER-permit 준수에서는 비교적 제한적으로 갈라진다고 보고한다. 재평가한 일부 모델에서는 몇 주 사이 점수가 크게 변했는데, Gemini 3.1 Pro는 28퍼센트포인트 상승, GPT-5.5는 15퍼센트포인트 하락, Grok 4.20은 12퍼센트포인트 하락했다. Claude Opus 4.8만 두 차례 평가 사이에서 95.0%를 유지했다.
세부 결과를 보면 Claude Sonnet 4.6이 BioTIER-refuse에서 96.4%로 가장 높았고, BioTIER-permit에서는 76.3%였다. 반대로 DeepSeek-V3.1은 평가에서 5.6%로 가장 낮았다. 또 398개 BioTIER-refuse 질문 가운데 모든 모델이 7/10회 이상 거절한 문항은 10개(2.5%)뿐이었고, 6개 모델만으로 388개 질문에 도달해 커버리지가 97.5%에 이르렀다. 논문은 이를 통해 ‘거의 모든 모델이 위험하다고 인식하는 최소 집합’이 매우 좁다는 점을 시사한다.
| 항목 | 원문 수치 | 근거 위치 |
|---|---|---|
| BioTIER 프롬프트 수 | 542개 전문가 작성 프롬프트 | p.1 abstract; p.6 source_excerpt |
| 평가 대상 | 10개 주요 개발사의 52개 최전선 LLM | p.8 source_excerpt |
| 최고 BioTIER-refuse | Claude Sonnet 4.6: 96.4% | p.16 source_excerpt |
| 최저 준수 모델 | DeepSeek-V3.1: 5.6% | p.12 source_excerpt |
자료: STORIUM 정리
이 작업은 고위험 정보와 광범위한 생물학 지식을 분리해 다루려는 시도를 체계화했다는 점에서 의미가 있다. 한편 기사에서 확인 가능한 범위는 프리프린트의 내부 평가 결과까지이며, 실제 배포 환경에서의 정책 효과나 외부 재현성은 이 카드만으로는 판단할 수 없다.
저작권자 © STORIUM 무단전재 및 재배포 금지
