아마존웹서비스(AWS)가 세이지메이커 AI의 추론 최적화 벤치마크·추천 작업 결과를 MLflow로 실시간 전송하는 통합 기능을 공개했다. 생성형 AI 모델을 운영에 배포하기 전에는 GPU 인스턴스 종류, 서빙 컨테이너, 병렬화 전략, 추측 디코딩 같은 최적화 기법을 수십 가지 조합으로 시험해야 하는 경우가 많다. AWS는 이 과정에서 팀들이 어떤 설정을 시도했고 무엇이 효과적이었는지를 수작업으로 정리해야 했던 문제를 해결하기 위해 이번 통합 기능을 도입했다고 설명했다.
이번 업데이트로 세이지메이커 AI에 추론 최적화 추천 작업이나 벤치마크 작업을 제출하면, 지정한 세이지메이커 MLflow 앱으로 결과가 자동 스트리밍된다. 여러 작업을 같은 MLflow 실험(experiment)에 연결하면 MLflow 화면에서 여러 결과를 나란히 비교할 수 있어 별도의 데이터 정리 작업이 필요 없어진다. AWS는 이를 통해 지연시간과 처리량 같은 지표가 각 설정이 테스트되는 동안 실시간으로 갱신되며, 작업이 끝날 때까지 기다리지 않고도 처리량이 기대치에 못 미치면 작업을 조기에 중단할 수 있다고 밝혔다.
이 기능을 쓰려면 먼저 세이지메이커 스튜디오에서 MLflow 앱을 만들고, 작업 실행 역할(execution role)에 해당 MLflow 앱 ARN에 대한 권한을 부여한 뒤, 벤치마크나 추천 작업을 생성할 때 MLflow 설정값을 함께 전달하면 된다. AWS가 제시한 예시에서는 세이지메이커 실시간 엔드포인트에 배포된 콴2(Qwen2) 0.5B 모델을 대상으로, 기존 엔드포인트 성능을 측정하는 벤치마크 작업과 다양한 배포 옵션을 평가하는 추천 작업을 동시에 진행해 같은 실험 이름 아래 결과를 통합했다. 전체 과정은 엔드포인트 준비 상태, 모델 크기, 워크로드 설정 등에 따라 45분에서 120분 정도 걸린다고 설명됐다.
이 통합은 세이지메이커 MLflow 앱에 한정되며, 자체 운영 중인 MLflow 트래킹 서버로는 결과가 전송되지 않는다. 추천 작업은 평가 과정에서 자체적으로 엔드포인트를 내부에 프로비저닝하기 때문에, 특별한 이유가 없다면 인스턴스 유형을 직접 지정하지 않는 것이 권장된다. 작업이 끝나면 MLflow 화면에서 벤치마크 작업은 단일 실행(run)으로, 추천 작업은 동시성별로 중첩된 하위 실행 트리 형태로 표시되며, 하위 실행을 펼치면 지연시간·처리량·출력 토큰 수 등 세부 지표와 함께 요청 단위의 원본 응답까지 확인할 수 있다.
AWS는 이번 기능이 실험 결과를 추적하고 이해하기 쉽게 만들어, 수작업 부담을 줄이는 동시에 컴퓨팅 비용을 절약하는 실시간 모니터링과 프로덕션 워크플로에 필요한 재현성을 제공한다고 설명했다. 벤치마크 작업이나 추천 작업에 MLflow 설정을 추가하면 곧바로 여러 설정 간의 벤치마크 지속시간, 처리량, 출력 토큰 수, 요청 지연시간을 비교할 수 있다는 점에서, 대규모 추론 최적화 작업을 다루는 팀들의 운영 효율화에 도움이 될 것으로 보인다.
