실시간 멀티모달 응용은 영상·음성·언어 모델을 한 파이프라인으로 연결하면서 지연과 처리량을 함께 맞춰야 한다. 연구진은 개발자의 단순 기준 구현을 코딩 에이전트가 다중 GPU 배포안으로 바꾸도록 지원하는 하니스 ‘FlashRT’를 제안했다. 이 연구는 동료검토 전 arXiv 프리프린트다.
FlashRT는 기준 구현을 중간표현(IR)으로 옮겨 데이터 의존성과 상태 유지 범위를 드러내고, 순차 인터프리터로 동작을 검증한 뒤 정적 분석으로 변환 후보를 찾는다. 에이전트는 스트리밍·분할·공동배치·시퀀스 병렬성 등을 조합하며 각 후보를 구현·검증·벤치마크한다. 저자들은 이런 ‘chain-of-program’ 절차가 에이전트에게 한 번에 직접 최적화를 맡기는 방식보다 효과적이라고 설명한다.
NVIDIA B200 실험에서 FlashRT는 영상 월드 모델과 멀티모달 LLM 등 여러 작업의 기준 구현 대비 지연을 최대 약 70배 줄이고 처리량을 최대 2.8배 높였다고 보고했다. AMD MI355X에서도 최대 지연 감소 폭을 유지했으며 처리량 향상 최대치는 3.6배였다. 이는 저자들이 구성한 내부 평가의 최대치로, 모든 작업에서 같은 개선을 뜻하지는 않는다.
영상 배경 편집에서는 1 GPU 기준선이 1715ms·6.82FPS였고, 4 GPU 지연 최적화안은 491ms·17.18FPS, 5 GPU 프레임률 최적화안은 517ms·19.41FPS였다. WorldPlay는 1 GPU 기준선 869ms·20.4FPS에서 2 GPU 지연 최적화안 493ms·25.5FPS, 프레임률 최적화안 625ms·31.0FPS로 바뀌었다.
AMD MI355X의 Qwen3-Omni 텍스트-투-오디오 추론에서는 1 GPU 순차 실행이 29.66초, 3 GPU vLLM-Omni가 0.779초, 3 GPU FlashRT가 0.276초를 기록했다. FlashRT는 같은 환경의 전문가 구현인 vLLM-Omni보다 응답 지연을 65% 줄였다고 저자들은 보고했다. 결과는 플랫폼별 최적화 생태계와 작업 구성에 영향을 받을 수 있으며, 실제 운영에서의 재현성과 비용 대비 효과는 추가 검증이 필요하다. 출처: arXiv 논문 페이지
저작권자 © STORIUM 무단전재 및 재배포 금지
