오픈AI(OpenAI)가 유전체 분석과 임상 의사 결정 영역에서 AI 모델의 수행 능력을 평가하는 벤치마크 GeneBench-Pro의 10가지 대표 케이스 스터디를 공개했다. GeneBench-Pro는 실제 임상 및 연구 맥락에서 AI가 복잡한 다단계 생물정보학 추론을 얼마나 정확하게 수행할 수 있는지를 측정하기 위해 설계됐다. 공개된 케이스 스터디에는 각 문제의 원본 프롬프트, 제공 데이터셋, 지원 자료가 함께 공개됐다. 오픈AI는 앞서 생명과학 AI 평가 기준 LifeSciBench를 공개한 바 있으며, GeneBench-Pro는 유전체 분야를 더욱 심층적으로 다루는 방향으로 확장됐다.
공개된 케이스 스터디는 임상 환경의 다양한 유전체 분석 과제를 망라한다. 종양 내 구조 변이로 활성화되는 표적에 대한 합성 억제제의 임상 유용성 추정, 긴 리드 시퀀싱과 발현·약물유전체 데이터를 통합한 치료 결정, lncRNA 의존성이 전사체 특이적인지 인근 유전자 효과인지 판별, 시스 다변량 멘델 무작위화(cis-MVMR)를 통한 두 인접 단백질의 질병 효과 추정, 보인자 선별 검사 데이터를 바탕으로 한 조상 특이적 보인자 빈도와 잔여 위험 계산 등이 포함된다. 각 과제는 단순 정보 검색이 아니라 여러 데이터 계층을 통합하고 교란 변수를 통제하는 복합적 추론을 요구한다.
추가 케이스 스터디로는 단세포 RNA-seq 데이터에서 환경 RNA 오염을 제거한 뒤 활성화된 단핵구의 eQTL 효과를 추정하는 과제, 익명 역위(inversion) 유사 유전자좌 내부 하위 하플로타입의 임상 연관성 및 발현 지지 추정, 8개 창시자 집단 재조합 개체군에서 첫 번째 염색체의 양적 형질 유전자좌(QTL) 지도화, 페이즈된 지역 조상 트랙에서 부모 특이적 조상 비율과 최근 혼합 시점 추론 등이 포함된다. 이들 과제는 실제 임상 연구에서 전문 생물정보학자가 수행하는 수준의 분석을 AI에게 요구하며, 각 과제마다 맥락 의존적 판단과 다중 통계 보정이 전제된다.
GeneBench-Pro는 기존 의료 AI 벤치마크가 주로 다루는 의학 지식 암기나 진단 분류를 넘어, 원시 데이터와 실험 맥락이 주어졌을 때 AI가 실제 연구 분석을 수행할 수 있는지를 평가하는 데 초점을 맞춘다는 점에서 의미가 있다. 오픈AI는 이 벤치마크를 통해 AI 모델이 임상 유전체학과 복잡한 생물통계 추론 영역에서 어느 수준까지 신뢰할 수 있는지를 가늠하는 기준으로 활용될 것을 기대하고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
