일리노이대학교 어바나-샴페인(UIUC), UC버클리, Chroma 소속 연구팀이 강화학습으로 훈련된 검색 서브에이전트 Harness-1을 공개했다. 200억(20B) 매개변수 규모로 gpt-oss-20b를 기반으로 구축된 이 모델은 질문에 직접 답변하는 대신 하위 답변 모델에 공급할 관련 문서 집합을 순위화해 제공하는 데 특화됐다. 연구팀의 핵심 주장은 ‘상태 보존형 인지 오프로딩(stateful cognitive offloading)’이다. 기존 검색 에이전트들이 정책(policy) 안에서 검색 결정과 상태 추적을 동시에 처리하는 반면, Harness-1은 문서 후보 풀 관리, 중복 제거, 증거 그래프 구축 등 반복적인 부기(bookkeeping) 작업을 외부 상태 기계 하네스에 위임하고, 모델 자체는 무엇을 검색하고 언제 멈출지에 관한 의미적 판단에만 집중하도록 설계됐다.
Harness-1의 에피소드는 루프 구조로 작동한다. 하네스가 현재 검색 상태와 최근 행동을 압축 렌더링하면, 모델이 구조화된 액션 하나를 출력하고, 하네스가 이를 실행해 상태를 갱신하는 방식이 반복된다. 모델이 사용하는 도구는 팬아웃 검색, 코퍼스 검색, 문서 읽기, 검증(verify) 등 8종이며, 최종 출력은 중요도 태그(very_high·high·fair·low)가 붙은 최대 30개 문서로 구성된 큐레이션 세트다. 훈련은 지도 미세조정(SFT)과 강화학습(RL) 두 단계로 나뉜다. SFT 단계에서는 GPT-5.4가 교사 역할을 맡아 생성한 899개 궤적(trajectory)을 LoRA로 학습시켰고, RL 단계에서는 SEC 금융 공시 쿼리를 대상으로 발견(discovery)과 선별(selection)을 분리한 보상 함수를 적용했다. 도구 다양성 보너스를 부여하지 않으면 에이전트가 반복 검색에 수렴하고 큐레이션 리콜이 약 0.53에서 정체됐지만, 보너스 추가 후 다양성이 안정화되며 리콜이 약 0.60까지 향상됐다고 논문은 밝혔다.
연구팀이 8개 벤치마크(웹, 금융, 특허, 멀티홉 QA 포함)를 대상으로 측정한 결과, Harness-1의 평균 큐레이션 리콜은 0.730, 평균 궤적 리콜은 0.807이었다. 동급 오픈 소형 모델 중 다음으로 높은 점수를 기록한 통이 딥리서치(Tongyi DeepResearch) 30B의 평균 큐레이션 리콜 0.616보다 11.4포인트 높다. 프런티어 모델 가운데서는 Opus-4.6(0.764)이 유일하게 Harness-1을 앞섰다. 특히 전이 학습 패턴이 주목할 만하다. SFT는 4개 벤치마크 계열로 학습됐고 RL은 SEC 쿼리에만 적용됐는데, 학습에 사용된 소스 계열에서는 가장 근접한 오픈 기준선 대비 7.9포인트 향상된 반면, 학습에 포함되지 않은 4개 보류 벤치마크에서는 17.0포인트 향상돼 2.2배 큰 개선을 보였다. 연구팀은 이를 하네스 구조 덕분에 검색 조작 자체가 도메인 일반적으로 전이된 증거로 해석했다.
Harness-1이 겨냥하는 활용 분야는 근거 문서가 필요한 증거 기반 검색 전반이다. 문헌 및 특허 검토, 금융 공시 분석, 멀티홉 사실 확인, 고정된 생성 모델에 고품질 문서를 공급하는 모듈형 RAG(검색 증강 생성) 등이 그 예로 제시됐다. 모델 가중치와 하네스 코드는 공개됐으며 vLLM, SGLang, Transformers 등 범용 런타임으로 서빙 가능하다. 학습에 사용된 고유 항목이 4,352개로 여러 기준선 모델보다 훨씬 적은 데이터로 훈련됐다는 점도 특징으로 꼽힌다. 다만 증거 그래프가 정규식 기반 개체 추출에 의존하고, 검증 도구가 LLM 프록시이기 때문에 모호한 주장에서 오류가 발생할 수 있다는 한계도 명시됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
