재키 콱(Jacky Kwok), 첼시 핀(Chelsea Finn), 마르코 파본(Marco Pavone), 이온 스토이카(Ion Stoica) 등 연구진이 대규모 언어 모델(LLM)의 답변이 맞는지 스스로 판별하게 하는 범용 검증 프레임워크 ‘LLM-as-a-Verifier’를 공개했다. 이번 연구는 사전학습·후속학습·추론 시점 연산 확장에 이어 ‘검증’ 자체를 새로운 성능 확장 축으로 제시했다는 점에서 주목된다. 연구팀은 별도의 추가 학습 없이도 에이전트형 작업에 세밀한 피드백을 제공할 수 있는 검증 체계를 구현했다고 밝혔다.
기존의 LM 심사 방식은 후보 답변에 대해 이산적인 점수를 산출하도록 프롬프트를 구성하는 데 그쳤다. 반면 LLM-as-a-Verifier는 점수를 나타내는 토큰의 로짓(logit) 분포 전체에 대한 기댓값을 계산해 연속적인 점수를 생성한다. 이 확률적 접근 방식은 점수의 세밀도, 반복 평가, 평가 기준의 세분화라는 세 방향으로 검증 성능을 함께 확장할 수 있다는 게 연구팀의 설명이다. 특히 점수 세밀도를 높일수록 정답과 오답 후보 간 구분이 명확해져 더 정교한 비교가 가능해졌다고 밝혔다.
연구팀은 이 프레임워크가 터미널 작업 평가인 Terminal-Bench V2에서 86.5%, 소프트웨어 엔지니어링 벤치마크 SWE-Bench Verified에서 78.2%, 로봇 보상 평가인 RoboRewardBench에서 87.4%, 의료 에이전트 벤치마크 MedAgentBench에서 73.3%의 정확도를 기록해 해당 분야 최고 수준(state-of-the-art) 성능을 달성했다고 밝혔다. 아울러 후보 해답 중 최적안을 고르는 비용 효율적인 순위 결정 알고리즘도 함께 제안했다.
연구팀은 검증 신호가 단순 판별을 넘어 작업 진행도를 추정하는 프록시로도 쓰일 수 있다고 설명하며, 개발자가 자신의 에이전트 시스템을 모니터링하고 개선할 수 있도록 앤트로픽(Anthropic)의 코딩 도구 클로드 코드(Claude Code)용 확장 기능도 구축했다고 밝혔다. 또한 이 검증기가 강화학습에서 밀도 높은 피드백을 제공해 로보틱스와 수학적 추론 벤치마크에서 SAC·GRPO 알고리즘의 표본 효율성을 높이는 데도 기여했다고 덧붙였다. 이러한 접근은 시나의 소형 모델 VibeThinker-3B가 큰 모델을 넘어선 사례처럼, 모델 규모보다 학습·평가 방식의 정교화가 성능 향상의 새 동력이 되고 있다는 최근 흐름과 궤를 같이한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
