언론 작업을 자동으로 수행하는 인공지능 에이전트가 늘어나는 가운데, 아키텍처 자체가 결과를 얼마나 바꾸는지는 충분히 검증되지 않았다. 텍사스테크대 연구진의 이 arXiv 프리프린트는 같은 언어모델과 동일한 도구를 유지한 채, 단일형 Claude, 단계형 LangChain, 협업형 CrewAI, 반복형 AutoGPT를 200회의 통제 실험으로 비교했다. 과제는 난도가 다른 저널리즘 작업 50개였고, 설계상 차이는 오직 구조에만 두었다.
결과는 작업시간과 계산 전략에서 뚜렷한 차이를 보였다. 작업 지속시간은 F(3, 196)=24.54, p<.001, eta-squared=.27로 유의했고, 계산 전략은 F(3, 196)=305.63, p<.001, eta-squared=.82로 더 크게 갈렸다. 이 수치는 아키텍처가 처리 행동 분산의 82%를 설명했다는 뜻이다. 반면 정확도에서는 전체적으로 유의한 구조 효과가 나오지 않았고, one-way ANOVA는 F(3, 196)=2.43, p=.066, eta-squared=.04였다.
평균 정확도는 CrewAI가 84.7%로 가장 높았고, 50개 과제 중 35개에서 완전 점수를 받았다. LangChain은 76.9%와 완전 점수 29개, Claude는 75.5%와 28개, AutoGPT는 70.6%와 27개였다. 시간 비용은 평균 작업시간에서 드러났는데, LangChain 30.01초, AutoGPT 34.95초, Claude 35.51초, CrewAI 60.49초였다. 최대값은 각각 119.29초, 129.45초, 99.19초, 130.04초로 보고됐다.
세부 분석에서는 단일형 Claude의 소스 걸러내기 방식이 눈에 띄었다. 1차 탐색에서 검토한 15개 소스가 넓게 남았지만, 최종 인용은 4.2개로 줄었고 소스 거부율은 71.7%였다. 중간 단계에서는 상담한 소스의 54.7%가 전체 내용 추출까지 이어지지 않았고, 평가에서 선택으로 넘어가는 구간에서도 38.2%가 탈락했다. 이런 흐름은 인간 편집자가 하던 게이트키핑과의 평행을 시사하지만, 알고리즘은 더 일관적이면서 덜 미묘한 결정을 내린다고 정리됐다.
투명성에서는 구조별 차이가 또렷했다. Claude만 상담 추적이 가능해 전체 과정을 끝까지 볼 수 있었고, 프레임워크 기반의 LangChain·CrewAI·AutoGPT는 내부 소스 검색을 감춰 최종 인용 수만 남겼다. 인용된 출처 수는 Claude 4.2개, AutoGPT 3.5개, LangChain 3.0개, CrewAI 2.5개였고, 고유 도메인은 각각 139, 117, 104, 94개였다. 과제 난도별로는 1단계에서 모두 85%를 넘겼지만, 탐사형 5단계에서는 CrewAI가 78%로 높았고 AutoGPT는 64%로 가장 낮았다.
| 아키텍처 | 평균 정확도/완전 점수 | 평균 작업시간(초)/최대 |
|---|---|---|
| CrewAI | 84.7% / 35/50 | 60.49 / 130.04 |
| LangChain | 76.9% / 29/50 | 30.01 / 119.29 |
| Claude | 75.5% / 28/50 | 35.51 / 99.19 |
| AutoGPT | 70.6% / 27/50 | 34.95 / 129.45 |
자료: STORIUM 정리
이 연구는 저널리즘 자동화의 성과를 하나의 AI 능력치로 묶지 말고, 구조별로 나눠 봐야 한다는 점을 실험적으로 보여준다. 동시에 명시적 불확실성 표시는 모든 구조에서 0~8%에 그쳤고, 인간이 맡는 인터뷰나 비밀취재 같은 업무는 범위에 포함되지 않았다. 따라서 이 결과는 통제된 정보수집·요약 과제에 대한 내부 평가로 읽는 것이 적절하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
