마이크로소프트(Microsoft)가 자연어 설명을 구조화된 AI 동작 테스트로 자동 변환하는 오픈소스 프레임워크 ‘ASSERT(Adaptive Spec-driven Scoring for Evaluation and Regression Testing)’를 2026년 6월 2일 공개했다. 개발자가 원하는 AI 행동 방침과 목표를 일반 텍스트로 기술하면, ASSERT가 허용·불허 동작 정의를 생성하고 테스트 시나리오를 만들어 대상 시스템에 자동 실행한 뒤 결과를 점수화한다. AI 시스템이 내린 의사결정 경로와 중간 행동, 도구 호출 기록도 함께 저장해 오류 지점을 추적할 수 있다.
사용 예시로는 문서 검색 AI 에이전트가 조직 외부에 이메일을 발송하지 않도록 하거나 기밀 정보를 C레벨 임원에게만 공유하도록 제한하는 규칙을 텍스트로 기술하면, ASSERT가 이 규칙의 준수 여부를 검증하는 테스트 케이스를 자동 생성한다. 개발자는 시스템 컨텍스트, 허용 도구, 제약 조건을 별도로 입력해 평가를 맞춤화할 수 있다. 마이크로소프트 책임 AI 부문 최고제품책임자(CPO) 세라 버드(Sarah Bird)는 AI 시스템의 동작을 제대로 이해하지 못하면 그 시스템이 조직의 기준을 충족하는지 판단하기 어렵다며, 애플리케이션마다 점검해야 할 평가 차원이 훨씬 많아졌다고 강조했다.
ASSERT는 개발 단계, 배포 이후, 지속적인 운영 모니터링 등 AI 시스템 전 주기에 걸쳐 활용할 수 있도록 설계됐다. AI 에이전트의 동작이 복잡해지고 자율성이 높아질수록 의도치 않은 행동을 사전에 탐지하는 평가 체계의 필요성이 커지고 있다. 기존 소프트웨어 테스트는 명확한 입출력 명세를 전제로 하지만, AI 에이전트는 맥락에 따라 행동이 달라지기 때문에 텍스트 명세 기반의 행동 평가가 더 실용적인 접근법으로 주목받고 있다.
마이크로소프트는 ASSERT를 빌드(Build) 2026 개발자 컨퍼런스에서 공개하며 책임 AI 도구 생태계를 확장하고 있다. 같은 행사에서 AI 에이전트의 보안·격리 실행 환경인 마이크로소프트 실행 컨테이너(MXC, Microsoft Execution Containers)도 발표됐다. 두 도구 모두 AI 에이전트를 안전하게 기업 환경에 배포하기 위한 기반 인프라를 구축하려는 마이크로소프트의 전략을 반영한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
