마이크로소프트가 공개한 SkillOpt는 LLM(대규모 언어 모델)의 프롬프트를 자동으로 개선하는 오픈소스 프레임워크다. 강력한 최적화 모델이 경량 타깃 모델의 프롬프트를 반복적으로 수정하고 검증하는 방식으로, 수작업 프롬프트 엔지니어링의 한계를 넘는 체계적 접근법을 제시한다. GitHub에 코드가 공개돼 있으며, SearchQA 데이터셋을 대상으로 한 구현 예시가 최근 공개됐다.
SkillOpt 실행 절차는 크게 환경 구성, 기준선 평가, 학습 루프, 진화 분석, 최종 비교 다섯 단계로 나뉜다. 먼저 GPT-4o를 최적화 모델로, GPT-4o-mini를 타깃 모델로 지정한 뒤 OpenAI 호환 엔드포인트를 설정한다. 기준선 평가 단계에서는 초기 시드 스킬을 미확인 검증 데이터에 적용해 하드-매치 정확도를 측정한다. 학습 루프는 롤아웃·반영·집계·선택·업데이트·검증 게이팅의 여섯 단계를 반복하며 스킬 문서를 자동으로 수정한다. 코사인 스케줄러가 편집 예산을 조정하고, 슬로우-업데이트와 메타-스킬 메커니즘이 과적합을 억제한다.
학습 과정에서 생성되는 히스토리 파일에는 단계별 정확도, 편집 예산 추이, 누적 토큰 사용량이 기록된다. 이를 시각화하면 최적화가 실제로 진행되고 있는지, 토큰 비용이 어느 수준인지 대시보드 형태로 확인할 수 있다. 스킬 스냅샷을 비교하면 최적화 모델이 어느 지점에서 어떤 방향으로 프롬프트를 수정했는지 추적 가능하다. 최종 평가는 best_skill.md 파일을 동일한 미확인 데이터에 적용해 기준선 대비 하드-매치 향상 폭을 수치로 확인하는 방식으로 마무리된다.
SkillOpt의 핵심 가치는 고성능 모델을 ‘교사’로, 경량 모델을 ‘학생’으로 삼는 역할 분리에 있다. 최적화 과정에서 생산되는 best_skill.md는 바로 프로덕션에 배포할 수 있는 텍스트 기반 아티팩트다. AI 에이전트 파이프라인에서 프롬프트 품질이 성능을 결정하는 만큼, 자동화된 스킬 진화 도구에 대한 관심은 앞으로도 커질 전망이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
