과학 아이디어는 빈 문서에서 갑자기 생기기보다 이전 연구의 메커니즘을 물려받고 한계를 고치며 여러 요소를 재결합한다. 하지만 기존 AI 과학자 벤치마크는 이런 계보를 따라갈 수 있는지 충분히 묻지 않았다. Yifan Zhou 등 연구진은 과학 아이디어의 상속 구조를 추론하고 그 계보에 맞는 새 제안을 만드는 능력을 평가하는 IdeaGene-Bench를 공개했다. 2026년 7월 9일 arXiv에 제출된 프리프린트다.
벤치마크는 논문이나 제안을 증거에 연결된 최소 단위의 유형화된 ‘아이디어 유전체’ 객체 집합으로 나타낸다. GenomeDiff는 두 연구의 객체를 정렬해 상속, 변이, 소실, 외부 유입, 새로운 삽입을 여섯 가지 작동적 진화 과정 아래 기록한다. 데이터는 10개 과학 분야의 정답 계보 1961개, 선별 객체 1085개, 논문 쌍 차이 기록 920개로 구성된다.
평가는 두 갈래다. IG-Exam은 42개 과제 유형과 1029개 사례로 아이디어 추상화, 상속 추적, 진화 추론, 계보 검증을 닫힌 형식으로 시험한다. IG-Arena는 주어진 연구 계보의 자연스러운 후손으로 새 제안이 들어갈 수 있는지 본다. 적절한 요소를 상속하면서 가까운 연구와 의미 있게 달라지고 후속 연구에 선택 가치를 주는지가 기준이다.
14개 LLM 기반 과학자 시스템을 평가했을 때 가장 강한 시스템도 계보 추론의 정확 일치율이 27.3%에 그쳤다. 구조화된 계보 맥락은 모든 시스템을 일괄 개선하기보다 순위를 바꿨다. 이는 정보를 나열하는 능력과 여러 변화 관계를 조합해 추론하는 능력 사이의 병목을 시사한다. 다만 객체 정의와 정답 계보 자체가 연구진의 분류 체계에 의존하므로 다른 분야와 실제 과학적 가치 평가로 확장할 때는 추가 검증이 필요하다.
원문: arXiv 2607.08758
저작권자 © STORIUM 무단전재 및 재배포 금지
