AI 시스템이 과학적 워크플로를 자동화하는 과정에서 선행 증거, 생성된 아이디어, 실험, 최종 주장을 연결하는 추론이 모델 내부에 암묵적으로 묻혀 버리는 문제를 해결하기 위한 연구 하네스(harness) ‘Xcientist’가 제안됐다. 연구팀은 실행 가능한 아티팩트가 원래의 주장을 더 이상 뒷받침하지 못하게 되는 현상을 ‘주장 이탈(claim drift)’로 명명하고, 이를 자동화된 연구의 핵심 실패 양식으로 규정했다.
Xcientist는 문헌 증거, 아이디어 상태, 구현 계획, 절제(ablation) 기록, 수정 추적 정보를 지속적인 연구 아티팩트로 관리하는 계약 기반 프로세스로 연구 합성과 실험 검증을 외재화한다. 이를 통해 생성된 메커니즘이 증거 기반을 잃지 않고 실행·검증·수정될 수 있도록 한다. 논문에 따르면 학습 불필요 메모리 시스템, 그래프 구조 교통 예측, 다중 스케일 물리 정보 신경망 등 세 가지 도메인에서 Xcientist가 문제 정의부터 메커니즘 설계, 검증, 수정에 이르는 추적 가능한 궤적을 보존했다.
연구팀은 AI 과학자를 최종 아티팩트만으로 평가하는 방식에서 벗어나, 합성과 검증 과정 자체가 귀속 가능하고 검사 가능하며 과학적으로 책임 있는지를 함께 평가해야 한다고 주장한다. 대형 언어 모델(LLM) 기반 자율 연구 시스템이 확산되면서 재현성과 투명성에 대한 우려가 커지고 있는 가운데, 이번 연구는 AI 과학자 시스템의 신뢰성을 높이기 위한 구조적 접근법으로 주목된다.
최근 AI가 가설 수립부터 실험 설계, 결과 해석까지 연구 과정 전반을 대신 수행하는 자율 연구 에이전트가 빠르게 늘고 있다. 그러나 이런 시스템이 내놓은 결론이 실제 실험 결과와 일치하는지, 중간 추론이 어디서 어긋났는지를 외부에서 들여다보기 어렵다는 점이 한계로 지적돼 왔다. Xcientist가 제시하는 방향은 AI가 만들어 낸 결과물을 그대로 받아들이는 대신, 주장과 증거 사이의 연결 고리를 지속적으로 기록하고 추적 가능한 형태로 남기는 데 있다. 연구 자동화가 학계와 산업 현장에 본격 도입될수록, 결과의 정확성만이 아니라 그 결과에 이르기까지의 과정을 검증할 수 있는 장치의 중요성도 함께 커질 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
