LLM(대규모 언어 모델) 에이전트에 부여되는 스킬(skill)이 배포 이후 시간이 지나면서 낡거나 부적합해지는 문제를 외부 정답 데이터 없이 해결하는 프레임워크가 발표됐다. 2026년 6월 12일 arXiv에 게재된 논문 “SkillAudit: Ground-Truth-Free Skill Evolution via Paired Trajectory Auditing”은 에이전트 스킬이 배포 후 엣지 케이스·API 변경·운영 제약으로 인해 점차 한계를 드러내며, 현실 환경에서는 검증 점수나 환경 보상 같은 특권적 피드백을 확보하기 어렵다는 문제의식에서 출발한다.
SkillAudit의 핵심 아이디어는 ‘쌍방향 궤적 감사(paired trajectory auditing)’다. 동일한 과제를 스킬을 적용한 경우와 적용하지 않은 경우로 나눠 실행하고, 두 궤적 간 행동 차이를 분석함으로써 스킬이 에이전트 행동에 미치는 영향을 외부 레이블 없이 격리한다. 행동 차이를 수정 지침으로 변환하기 위해 ‘PACE(Process-Aligned Contrastive Evaluation)’라는 평가자 클러스터를 사용하며, 이 평가자는 궤적 분기 지점을 스킬 문서의 특정 구절과 연결해 구체적인 진단 신호를 생성한다. 또한 과제 명세서로부터 한 번만 컴파일해 고정하는 구조적 검증기를 두어 유해한 업데이트가 반영되지 않도록 롤백한다.
스킬 수정은 두 파이프라인으로 분리해 처리한다. Refine은 광범위하게 유용한 스킬에서 노이즈나 불필요한 지침을 제거하고, Repair는 과제와 충돌하는 구절을 교체한다. 8개 전문 도메인에 걸친 89개 컨테이너화 과제를 대상으로 한 실험에서 SkillAudit은 평균 과제 보상 73.9%를 기록했다. 이는 스킬 없이 실행한 에이전트(40.9%)와 정적 전문가 스킬(56.7%) 모두를 크게 웃도는 수치다. 이 성능 향상은 숨겨진 테스트·참조 솔루션·외부 채점 함수에 접근하지 않고 달성됐다는 점에서, 실제 운영 환경처럼 레이블 확보가 어려운 상황에서도 에이전트 스킬을 지속적으로 개선할 수 있는 실용적 방향을 제시한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
