과학 논문 게재 결정에서 아이디어의 품질과 저자 인맥 중 무엇이 더 큰 역할을 하는가. 이 오랜 질문은 논문의 ‘품질’을 게재 결과와 무관하게 측정하기 어렵다는 방법론적 난제 때문에 수십 년 동안 명쾌한 답을 얻지 못했다. 2026년 6월 공개된 논문은 LLM(대규모 언어 모델)을 활용한 새로운 접근법으로 이 난제를 돌파했다. 연구팀은 경제학을 사례 연구 대상으로 삼아 6,208편의 경제학 워킹 페이퍼를 분석했다.
핵심 방법론은 저자 이름과 게재 결과를 제거한 순수 텍스트에서 아이디어 품질을 점수화하는 LLM 평가자를 훈련시키는 것이다. 이를 통해 기존 연구에서 불가피했던 ‘게재 결과를 품질의 지표로 사용하는 순환 논리’를 끊었다. 연구팀은 아이디어 품질 점수 외에도 실행 품질 평가, 저자 인맥 지수, 저자 능력 지수, 일반 언어 모델 점수 등 다섯 가지 투입 요소를 조합해 저널 등재 등급을 예측하는 생산 함수를 추정했다.
결과는 다섯 요소가 서로 경쟁하는 것이 아니라 등급 사다리에서 순차적으로 작동함을 보여준다. 실행 품질은 전반적으로 가장 중요한 투입 요소로 최소한의 기준을 설정하는 역할을 한다. 텍스트로 측정한 아이디어 품질은 그 기준을 넘어선 뒤 중간 등급의 순위를 가른다. 인맥은 최상위 저널 진입 지점에서 주로 유리하게 작용하며, 두 가지 경로로 기여한다. 인맥이 있는 저자는 더 높은 점수의 논문을 쓰는 경향이 있고, 동일한 점수에서도 게재 가능성이 높다. 그러나 인맥의 이점은 무한하지 않다. 평범한 아이디어가 인맥만으로 정상급 저널에 정착하는 결과는 발생하지 않았다.
이 연구는 실력주의와 인맥 중 하나를 택하는 이분법이 아니라 두 가지가 계층적으로 공존하는 구조를 제시한다. AI 도구로 학술 텍스트의 품질을 사전에 수량화할 수 있다는 방법론적 진전도 주목할 만하다. 동료 심사(peer review) 과정의 공정성과 효율성에 관한 논의에서 데이터 기반 시각을 제공할 수 있는 연구로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
