세계 최대 헤지펀드 브리지워터와 미라 무라티 전 오픈AI 최고기술책임자(CTO)가 설립한 스타트업 씽킹머신스랩이 공동으로 자체 미세조정한 오픈웨이트 모델이 금융 문서 판별 작업에서 기존 상용 모델들을 앞섰다는 내부 평가 결과를 발표했다. 두 회사는 투자자가 매일 마주하는 뉴스·공시·이메일 더미에서 무엇이 중요한지 가려내는 판단 업무를 자동화하는 것을 목표로 했다고 밝혔다.
연구진은 투자자의 일상적 판단을 여섯 가지 과제로 정의했다. 예컨대 특정 금융 기사가 임원에게 관련 있는지, 중앙은행 문서가 향후 금리 방향을 시사하는지 등이다. 보고서는 트럼프 대통령의 그린란드 발언은 무관한 것으로, 중국 관세 위협 발언은 밀접한 것으로 분류돼야 한다는 예시를 들며, 둘 다 지정학과 금융을 다루지만 투자자에게 갖는 함의는 전혀 다르다고 설명했다. 제미나이·클로드·GPT 계열 모델은 기본 프롬프트만으로는 정확도가 약 50%에 그쳤고, 전문가가 작성한 지침과 3단계 평가체계를 적용해도 70%대 중반에 머물러 연구진이 설정한 신뢰 기준선인 80%에 못 미쳤다고 보고서는 밝혔다.
연구진은 최신 모델일수록 비용 대비 성능 개선이 크지 않다는 점도 지적했다. GPT 5.4는 GPT 5.2보다 이용 비용이 43% 비싸지만 정확도 향상은 미미했다는 것이다. 대신 두 회사는 오픈웨이트 모델 Qwen3-235B를 씽킹머신스랩의 파인튜닝 플랫폼 ‘팅커(Tinker)’로 재훈련하는 방식을 택했다. 초기에는 외부 계약직이 문서에 라벨을 달았으나 오류가 많았고, 이를 보정하기 위해 1차 모델이 재평가해 라벨과 어긋나는 사례만 브리지워터 투자자들이 직접 교정하는 방식으로 비용을 줄였다. 그 결과 미세조정 모델은 자체 평가에서 정확도 84.7%를 기록해 가장 우수했던 상용 모델의 78.2%를 앞섰고, 운영 비용은 약 14분의 1 수준이었다고 두 회사는 밝혔다.
두 회사 모두 자사 제품 홍보라는 이해관계가 있어 이 비교가 완전히 독립적이지는 않다는 한계도 있다. 그럼에도 이번 사례는 오픈AI 등 대형 랩들이 세상의 모든 데이터를 이미 흡수한 것은 아니며, 기업이 보유한 방대한 비공개 데이터와 사람의 암묵적 전문성에 여전히 개선 여지가 크다는 점을 보여준다. 특히 가장 가치 있는 데이터를 외부에 공유하지 않으려는 기업일수록, 팅커 같은 도구로 오픈모델을 직접 미세조정하는 방식이 데이터 주권을 지키면서 성능을 확보하는 대안이 될 수 있다는 분석이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
