멀티모달 에이전트가 이미지를 보며 도구를 쓰는 과제에서, 기존 강화학습은 성공한 궤적을 점수로만 환산해 정책이 재사용 가능한 도구 사용 패턴을 새 과제마다 다시 찾아야 한다는 한계가 있다고 논문은 지적한다. Zhejiang University의 Ru Zhang과 Beijing University of Posts and Telecommunications의 Weijie Qiu는 arXiv 프리프린트에서, 궤적을 보상이나 정적 기억으로 소비하지 말고 학습 과정에서 정책과 함께 진화하는 기술로 바꾸는 SPyCE(Skill-Policy Co-evolution)를 제안했다.
SPyCE는 롤아웃을 두 층의 기술 라이브러리로 정제한다. 실행 기술은 condition-action-effect 삼중항으로 회전, 자르기, 뒤집기 같은 국소 시각 조작을 담고, 워크플로 기술은 병목 요약과 워크플로 스케치로 여러 단계를 묶는 상위 절차를 담는다. 정책은 검색한 기술을 조건으로 롤아웃을 만들고, 높은 품질의 롤아웃이 다시 기술 라이브러리를 갱신하는 닫힌 고리를 이룬다.
실험은 TIR-Bench, MathVerse, MathVision, WeMath, ChartQAPro, V*, HRBench-4K, HRBench-8K의 여덟 벤치마크에서 이뤄졌다. Qwen3-VL-4B-Instruct 백본에서 SPyCE는 V* 80.6, HRBench-4K 78.8, HRBench-8K 73.9, ChartQAPro 51.4, MathVerse 55.0, MathVision 57.4, WeMath 59.7을 기록했다. Qwen3-VL-8B-Instruct 백본에서는 각각 84.3, 78.0, 74.3, 52.5, 68.7, 61.2, 67.8이었다.
TIR-Bench에서는 전체 평균 정확도 32.0과 평균 도구 호출 수 4.83회가 가장 좋았다. 비교군 GRPO는 27.7과 5.13회, RLOO는 26.7과 5.38회, Agent-KB는 24.8과 6.71회였다. 논문은 OCR, Maze, Math, IR, SD, JG, VS, RG처럼 순차적 변환과 도구 오케스트레이션이 필요한 항목에서 개선이 집중됐다고 설명한다.
절제 실험에서는 두 층의 기술 구조와 온라인 기술 진화, 그리고 도구 호출 패널티가 모두 중요하다고 나타났다. 워크플로 기술을 빼면 정확도는 28.0, 도구 호출은 5.91회였고, 실행 기술을 빼면 28.7과 5.33회였다. 기술을 고정한 경우는 28.9와 5.54회였으며, 도구 호출 패널티를 없애면 29.4와 6.83회, 항상 패널티를 주면 26.1과 3.96회였다. 학습은 SFT 2 epoch 뒤, RL에서 기술 라이브러리 초기화 1 epoch와 기술 조건부 최적화 1 epoch를 나눠 진행했으며 샘플당 8개 롤아웃을 사용했다.
논문은 이런 결과가 보상 설계만이 아니라 상호작용 경험을 구조화해 재사용 가능한 기술로 만드는 일이 중요하다는 점을 보여준다고 정리한다. 또한 개선된 정책이 더 나은 궤적을 만들고, 더 나은 궤적이 다시 기술을 갱신하는 순환이 성능과 효율을 함께 끌어올렸다고 설명한다. 한편 이 결과는 arXiv 프리프린트의 공개 벤치마크 실험에 기반한 것이며, 최종 출판본이 아니다.
저작권자 © STORIUM 무단전재 및 재배포 금지
