홍콩과기대·중산대·시안교통대·산둥대 연구진이 분산 혼합전문가(MoE) 추론에서 요청을 처리하기 전에 전문가 배치를 바꾸는 시스템 ‘DIRECTOR’를 제안했다. 기존 정적 배치는 과거 요청에 의존하고, 온라인 방식도 직전 배치에 반응해 입력 분포가 빠르게 바뀌면 대응이 늦는다. DIRECTOR는 대기열의 요청에서 다음 전문가 활성화를 예측해 GPU 간 통신과 부하 불균형을 줄이는 접근이다.
시스템은 두 가지 예측기를 제공한다. 가벼운 연쇄 예측기는 직전 층의 상태로 다음 층 라우팅을 추정하고, 다른 선택지는 원래 MoE의 4비트 양자화 복제본을 사용한다. 이후 선형계획 완화와 반복 반올림으로 GPU 용량 제약 아래 전문가 배치를 계산한다. 연구진은 이 알고리즘이 다항시간에 실행되며 최적 지연시간의 1+ε 이내 해를 준다고 증명했다. 전문가 이동은 계산 집약 구간과 겹쳐 서비스 중단을 제한했다.
평가는 각각 32개의 RTX 4090과 H200 GPU로 구성한 두 4노드 클러스터에서 진행했다. Mixtral 8×7B, DeepSeekMoE-16B, DeepSeek-V2-Lite, Qwen3-30B-A3B를 MATH500·WikiText-103·LiveCodeBench 요청으로 구동했다. 기본 DeepSpeed-MoE 배치, 과거 추적 기반 정적 배치, 최근 배치 기반 반응형 배치와 비교했으며 각 실험은 무작위 시드 5개 평균으로 보고했다.
논문에 따르면 DIRECTOR는 정적 기준보다 종단 지연시간을 11~55% 줄였다. H200 수를 4개에서 32개로 늘린 시험에서는 정적 배치 대비 감소 폭이 11%에서 48%로 커졌다. 연쇄 예측기의 상위 k 전문가 일치율은 77~91%, 4비트 복제본은 91~96%였고, 실제 라우팅을 미리 아는 오라클 대비 지연 격차는 각각 3~7%, 1~6%로 나타났다.
| 평가 항목 | 조건 | 연구진 보고 |
|---|---|---|
| 클러스터 | 4노드, RTX 4090 또는 H200 각 32개 | 두 하드웨어 환경 |
| 종단 지연 | 정적 전문가 배치 대비 | 11~55% 감소 |
| 확장성 | H200 4→32개 | 감소 폭 11%→48% |
| 예측 정확도 | 연쇄 예측기 / 4비트 복제본 | 77~91% / 91~96% |
이 수치는 연구진이 구현한 Colossal-AI 기반 프로토타입과 두 종류의 클러스터에서 얻었다. 예측을 위해 별도 모델이나 복제본을 유지하고 실시간으로 전문가를 이동하는 비용이 있으며, 입력 분포와 네트워크 토폴로지가 다른 운영 환경에서 같은 이득이 재현될지는 확인되지 않았다. 논문은 이론적 근사비를 제시하지만 전체 시스템 성능 보장은 예측 정확도와 실제 이동 가능 구간에 의존한다.
이 연구는 2026년 6월 공개된 arXiv 프리프린트로 동료 검토와 독립 검증 전이다. 따라서 55%라는 최댓값을 모든 MoE 서비스의 일반적 개선 폭으로 해석해서는 안 된다. 확인된 범위는 네 모델, 세 요청 데이터셋, RTX 4090·H200 클러스터이며, 의미는 과거 부하에 반응하던 전문가 배치를 대기 요청 기반의 선제적 최적화로 전환했다는 데 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
