메타분석은 여러 독립 연구를 묶어 정량적 결론을 내는 절차지만, 실제로는 검색과 선별, 정량 추출, 효과크기 계산, 보고서 작성까지 많은 수작업이 필요하다. 이 논문은 그런 과정을 자동화하기 위한 end-to-end 다중 에이전트 시스템 AUTOSYNTHESIS를 제안한다. 입력은 자연어 연구 질문 하나다. 시스템은 이를 바탕으로 검색 전략을 만들고, 전용 과학 데이터베이스에서 문헌을 찾은 뒤, 제목·초록 단계에서 후보를 거르고 전문 적합성을 판단한다. 이어 정량 통계를 추출해 Cohen’s d와 Hedges’ g 같은 표준화 효과크기를 계산하고, 무작위효과 메타분석을 수행한다. 연구진은 여기에 이질성 분석과 위험도 평가를 더해 PRISMA 지침에 맞는 투명한 보고서를 출력한다고 설명한다.
논문은 인간–AI 상호작용, 교육, 심리학 등 여러 영역에서 자동화 메타분석을 시연했다. 예시 연구질문은 “LLM이 인간보다 더 설득적인가”였다. 이 사례에서 시스템은 후보 기록 28개를 검색했고, 제목·초록 선별 뒤 25개를 남겼으며, 전문 검토에서 19편을 적합 연구로 판정했다. 최종 합성에는 8편이 들어갔고, 효과크기 추정치는 20개였다. 이 논문은 arXiv 2607.15247v1 [cs.AI] 16 Jul 2026 프리프린트다.
효과크기 결과는 인간이 수행한 기존 메타분석과 비교됐다. AutoSynthesis의 풀드 효과는 Hedges’ g = 0.143, 95% CI [0.059, 0.226], p < 0.001이었다. 같은 사례의 이질성은 I2 = 88.3%, Cochran’s Q = 162.09(df = 19, p = 0.0000), H2 = 8.53으로 제시됐다. 연구진은 이 결과가 전문가 메타분석의 추정치와 큰 틀에서 유사하다고 설명했다.
문헌 수집과 선별의 일치도도 따로 봤다. 기준 메타분석에 포함된 7편 중 5편을 AutoSynthesis가 함께 회수해 재현율 71.4%를 보였고, AutoSynthesis가 포함한 8편 중 3편은 기준 집합과 달라 정밀도 62.5%였다. 질적 검토 뒤에는 재현율 85.7%, 정밀도 87.5%로 보정됐다. 누락과 차이는 검색 과정과 전문 접근성, 그리고 한 연구의 적합성 판단에서 주로 생겼다고 논문은 설명한다.
또한 7개의 매칭된 효과크기를 인간 벤치마크와 비교한 결과, 상관계수는 r = 0.69, OLS 기울기는 β = 1.62였다. Egger’s test와 funnel plot은 작은 연구 효과 가능성을 시사했고, leave-one-out 분석에서는 개별 연구를 제외해도 전체 풀드 추정치가 크게 흔들리지 않았다. 논문은 이 시스템이 정량적 증거종합을 더 재현 가능하게 만들 수 있다고 주장한다.
| 항목 | 수치 | source_locator |
|---|---|---|
| LLM 설득력 사례에서 검색된 후보 기록 | 28개 | |
| 같은 사례에서 최종 포함 연구 | 8편, 20개 effect size | |
| 풀드 효과크기(Hedges’ g) | 0.143 [0.059, 0.226], p < 0.001 | |
| 이질성(I2) | 88.3% | |
| 벤치마크와의 효과크기 차이 | 0.12 Hedges’ g |
자료: STORIUM 정리
논문은 완성형 제품의 일반 성능을 입증했다기보다, 특정 연구질문에서 메타분석의 여러 단계를 자동화해 인간 벤치마크와 어느 정도 맞는지 보여주는 시연에 가깝다. 저자들도 한계로 벤치마크 수의 제한, PDF 접근성, 보고 방식 차이, 모델 선택 의존성을 들며, 모든 분야에서 동일한 성능을 보장한다고는 말하지 않는다.
연구 원문은 arXiv:2607.15247에서 확인할 수 있다. 프리프린트 결과는 동료평가와 후속 재현을 거치며 달라질 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
