마이크로소프트 리서치가 AI 에이전트의 동작 지침인 스킬(skill) 파일을 학습 가능한 파라미터처럼 최적화하는 프레임워크 SkillOpt를 공개했다. 기존 에이전트 스킬은 전문가가 직접 작성하거나 프런티어 모델이 한 번에 생성하는 방식에 의존해, 검증 없는 수정이 누적되면서 성능이 의도치 않게 저하되는 문제가 있었다. SkillOpt는 스킬 파일을 동결된 타깃 모델 외부의 훈련 가능 파라미터로 규정하고, 딥러닝 옵티마이저에 준하는 반복 최적화 루프를 적용한다.
SkillOpt의 최적화 방식은 순전파-역전파-갱신의 3단계 사이클을 텍스트 공간에서 구현한 구조다. 순전파 단계에서는 현재 스킬로 배치 작업을 실행하고, 역전파 단계에서는 별도의 옵티마이저 모델이 성공 궤적에서 보존할 패턴과 실패 궤적에서 수정할 패턴을 추출한다. 갱신 단계에서는 추가·삭제·교체 편집안이 후보로 제시되며, 홀드아웃 검증 세트에서 현재 스킬보다 높은 점수를 기록할 때만 채택된다. 거부된 편집안은 이후 옵티마이저 호출에서 부정적 피드백으로 활용된다. 6개 벤치마크, 7개 타깃 모델, 3가지 실행 모드를 아우르는 52개 평가 셀 전체에서 SkillOpt는 최상 또는 공동 최상 결과를 기록했다. GPT-5.5 기준 6개 벤치마크 평균은 58.8에서 82.3으로 23.5점 상승했으며, SpreadsheetBench는 41.8에서 80.7, OfficeQA는 33.1에서 72.1, LiveMathematicianBench는 37.6에서 66.9로 올랐다. 이는 마이크로소프트가 기존에 발표한 SkillOpt 성능 향상과 같은 결과를 공식 블로그에서 재확인한 수치다.
소형 모델에 대한 효과도 주목할 만하다. 최적화 후 GPT-5.4-mini의 6개 벤치마크 평균(64.3)은 더 큰 GPT-5.4의 스킬 미적용 기준치(59.7)를 넘어섰고, GPT-5.4-nano(57.4)는 GPT-5.2의 기준치(51.3)를 상회했다. 40억 파라미터 오픈웨이트 모델 Qwen3.5-4B 역시 GPT-5.2 기준치를 웃돌았다. 스킬 전이 실험에서는 Codex 내부에서 훈련한 스프레드시트 스킬을 추가 최적화 없이 Claude Code에 이식했을 때, Claude Code 내 무스킬 기준치 22.1 대비 81.8로 59.7점이 올라 Claude Code에서 직접 훈련한 결과인 80.4점을 소폭 상회했다.
최종 배포 스킬 파일(best_skill.md)은 중간값 기준 약 920토큰으로 간결하며, 검증 게이트가 대부분 제안을 거부하기 때문에 최종 채택 편집은 1~4건에 그친다. OfficeQA에서 39.0점 향상은 편집 1건으로 달성됐다. 마이크로소프트 리서치는 자동 평가 또는 검증자가 있는 도메인에서 팀이 모델 가중치 미세조정이나 프롬프트 수작업 없이 에이전트를 적응시킬 수 있는 경량 경로가 열렸다고 평가했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
