경제학 메타분석 논문에 대한 AI 피드백을 두고, 토론형 다중 에이전트가 단일 모델 응답보다 낫다는 기대를 정면으로 시험한 프리프린트가 나왔다. 44편의 메타분석 저자들이 자기 논문을 대상으로 세 가지 AI 보고서를 비교해 유용성을 순위로 매겼고, 결과는 오히려 단일 응답 쪽으로 기울었다. 이 연구는 사전등록과 익명화, 논문 내부 비교 설계를 사용했으며, 동료검토 전 arXiv v1 상태로 공개됐다.
비교 대상은 프런티어 모델의 한 번 읽기, 그리고 연구진이 구축한 두 가지 다중 에이전트 토론 도구였다. 세 보고서는 모두 같은 길이와 템플릿으로 맞춰졌고, 평가에 참여한 논문 작성자들은 자신의 논문 개선에 얼마나 도움이 되는지 기준으로 순위를 정했다. 평균적으로 단일 패스는 mad-research보다 0.66 순위점, paper-workshop보다 0.57 순위점 더 선호됐다. 각 차이의 95% 신뢰구간은 각각 0.32~1.00, 0.16~0.95였다.
비용 차이는 더 컸다. paper-workshop은 토큰을 대략 30배 더 썼고, API 기준 달러로는 약 35배 비쌌다. 반면 실제 실행은 정액 구독 플랜에서 이뤄져 한계 현금비용은 거의 0에 가까웠다. 논문은 단일 응답이 더 적은 호출로 더 나은 평가를 받았다고 요약하며, 단순히 토큰을 많이 쓰는 토론 구조가 곧바로 더 유용한 피드백으로 이어지지는 않는다고 해석한다.
표본은 55편의 경제학 메타분석으로, 저자측 27편과 외부 저자 28편으로 나뉜다. 이 가운데 44편에서 최소 1명의 저자가 순위를 제출했고, 66개의 유효 순위가 확보됐다. 첫 응답만 쓰는 기준 분석과 모든 응답을 보존하는 강건성 검사를 함께 했으며, 응답이 없던 11편을 최악의 경우로 가정해도 단일 패스가 다수 선호라는 결론은 유지됐다. 내부 일치도는 약했고, 복수 순위자가 있었던 18편에서 평균 쌍별 Kendall τ는 0.049였다.
사람이 기억하는 저널 심사평과 AI 판단 사이의 간극도 드러났다. 저자들이 회상한 심사평은 대체로 가장 앞에 놓였고 마지막에 놓인 적은 없었지만, 세 AI 판정자는 실제 심사평을 거의 항상 마지막으로 배치했다. 26편의 자기 논문에 대해 AI 판정자를 적용한 별도 비교에서는, Gemini가 저자 입장이라면 paper-workshop을 단일 응답보다 앞순위로 둘 것이어서 선호가 뒤집혔을 것이라고 보고한다. 연구진은 이런 반전이 AI 판정자를 저자의 대체물로 쓰는 데 경고가 된다고 적었다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 표본 규모 | 55편의 경제학 메타분석 | |
| 유효 순위 수 | 44편에서 최소 1명의 저자 순위 제출, 유효 순위 66개 | |
| 선호 차이 | 단일 패스가 mad-research보다 0.66 순위점, paper-workshop보다 0.57 순위점 우위 | |
| 비용 비교 | paper-workshop이 토큰 약 30배, API 기준 달러 약 35배 | |
| AI 판정자 결과 | 세 AI 판정자가 실제 심사평을 78회 중 75회 마지막에 배치 |
자료: STORIUM 정리
결론은 범위를 분명히 한다. 이 실험이 측정한 것은 완성된 논문에 대해 저자가 느낀 개선 유용성이며, AI가 논문 심사위원이 되어야 하는지 여부는 별개의 문제라는 것이다. 연구진은 단일 시점의 기초모델과 late June 2026 시점의 한 가지 프롬프트, 한 가지 구현만을 썼다고 적으며, 결과를 경제학 메타분석이라는 특정 장르에 좁혀 해석해야 한다고 덧붙였다.
저작권자 © STORIUM 무단전재 및 재배포 금지
