오픈AI가 계산생물학 분야 AI 역량을 측정하는 연구 수준 벤치마크 GeneBench-Pro를 공개했다. 유전체학·정량 생물학·중개의학(translational medicine) 영역을 포괄하는 129개 문제로 구성되며, 기존 GeneBench를 확장해 실제 과학 연구의 복잡성·반복성·모호성을 담은 더 어려운 과제들로 채워졌다. 벤치마크의 설계 목적은 AI 에이전트가 사실 암기나 정해진 절차 실행을 넘어 데이터 탐색·분석 경로 선택·결과 해석 등 판단이 필요한 고차원 추론을 수행할 수 있는지 평가하는 것이다. 외부 도메인 전문가—대학원생·박사 연구원·산업계 과학자·교수—를 포함한 검토 위원들이 문제의 현실성과 정답 식별 가능성을 평가했으며, 한 검토자는 “경험 있는 지도교수의 반복적 피드백 없이는 대학원생도 완료하기 어려운 수준”이라고 평했다.
GeneBench-Pro의 차별점은 합성 데이터 기반 설계다. 오픈AI는 완전한 인과 구조를 알 수 있는 합성 데이터를 사용해 각 문제를 구성함으로써 정답을 결정론적으로 채점할 수 있도록 했다. 이를 통해 실제 역사 데이터를 사용할 때 발생하는 문제—주관적 기준값 차이로 인한 다수 정답 허용, 또는 반대로 심각한 오류를 저지르고도 결과가 허용 범위에 드는 경우—를 방지했다. 각 문제는 격리된 작업 공간에서 짧은 프롬프트·데이터 파일·표준 생물정보학 스택(Python, PLINK 2.0 등)을 제공하며, 에이전트는 데이터를 탐색하고 적절한 분석 방법을 선택한 뒤 최종 답변을 도출해야 한다. 오픈AI는 10개의 대표 문제와 인터랙티브 웹 인터페이스를 허깅페이스(Hugging Face)를 통해 오픈소스로 공개했으며, 50개 문제 세트는 Artificial Analysis에 제공해 독립적 제3자 벤치마킹에 활용할 예정이다.
현재 가장 높은 성능을 기록한 모델은 GPT-5.6 Sol로, 최고 추론 수준에서 정답률 28.7%(Pro 모드 활성화 시 31.5%)를 달성했다. 오픈AI가 원래 GeneBench를 개발하기 시작했을 당시 최고 모델인 GPT-5의 정답률이 5% 미만이었던 것과 비교하면 빠른 발전이다. 추론 수준이 낮은 설정에서는 GPT-5.6 Sol도 한 자릿수 정답률에 그쳐 테스트 시간 연산 확장의 효과가 두드러졌다. 최고 추론 수준에서 GPT-5.6 Sol은 GPT-5.2 대비 약 6배 많은 문제를 풀면서도 토큰 사용량은 약 3분의 2 수준에 그쳤다. 오픈AI는 이 벤치마크가 연말 안에 포화될 수 있다고 전망했으며, SWE-bench 리워드 해킹 논란에서 드러난 벤치마크 조작 위험을 원천 차단하기 위해 합성 데이터 방식을 선택했다고 설명했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
