AI 과학자가 어떤 가설을 세우고 시험한 뒤 증거에 따라 믿음을 바꿨는지 추적하는 가설 진화 프로토콜 HEP가 제안됐다. 비정형 실행 로그만 남는 기존 연구 에이전트와 달리 가설, 시험, 증거, 믿음 갱신을 각각 감사 가능한 기록으로 보존하는 방식이다.
HEP는 가설 생성·평가·진화를 명시적 연산으로 나누고, HEP Registry에 모든 상태 전환을 추가 전용 로그로 저장한다. 에이전트는 새 가설을 만들거나 기존 가설을 다듬고 합칠 수 있으며, 시험 결과를 근거로 지지·반박·휴면 상태를 갱신한다.
실험은 AO₂, A₂BB′O₆, MX의 결정구조 선호를 묻는 세 재료과학 과제에서 수행했다. 동일 기반 LLM과 도구를 쓴 조건당 3회 비교에서 계획형 기준선은 루프 단계의 83%를 시험에 썼지만 명시적 믿음 갱신은 0%였다. HEP 에이전트는 증거와 믿음 갱신을 연결한 순환을 기록했다.
| 기반 LLM | 평균 가설 수 | 평균 최대 세대 깊이 | 반복 |
|---|---|---|---|
| GPT-5.5 | 14.7 | 4.7 | n=3 |
| GPT-5.4-mini | 6.7 | 1.7 | n=3 |
| GPT-4.1 | 4.0 | 0.7 | n=3 |
AO₂에서 모델당 3회 시험한 결과 평균 가설 수는 GPT-5.5 14.7개, GPT-5.4-mini 6.7개, GPT-4.1 4.0개였다. 평균 최대 세대 깊이도 각각 4.7, 1.7, 0.7로 감소했다. 이 비교는 프로토콜 활용 깊이를 본 것이며 과학적 결론의 정확도 순위를 뜻하지 않는다.
믿음 확률과 증거의 충분성은 에이전트가 스스로 평가했다. 결과도 고정된 기계학습 원자간 퍼텐셜의 구조 선호를 설명한 것으로 전자구조 계산이나 실험적으로 확립된 재료물리와의 일치는 확인하지 않았다. arXiv v1 프리프린트 단계인 만큼 감사 가능한 로그와 독립 검증된 과학 결론은 구분해야 한다. 연구진도 독립 감사자와 프로그램 기반 검증을 후속 과제로 제시했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
