엣지 VLM 추론에서 전체 에너지의 86~97%는 이미지 입력이 아니라 자기회귀 디코드에 쓰였다. RTX 3070의 448×448 조건에서 출력 토큰 하나의 벽시계 비용은 입력 토큰 하나보다 11~39배 길었다. 5개 모델과 RTX 3070 랩톱 GPU·Jetson Orin NX를 비교한 arXiv:2607.09520v1의 측정 결과다. PDF는 ACM MM ’26 원고 형식과 ACM 출판권 문구를 싣고 있지만 ISBN·DOI가 placeholder여서, 최종 프로시딩 확정 여부는 이 PDF만으로 단정할 수 없다.
평균 전력 자체는 입력 해상도, 이미지 복잡도, 프롬프트 유형을 바꿔도 모델별로 거의 일정했고 전체 조건의 변동이 5% 미만이었다. RTX에서는 HWiNFO64 Pro로 시스템 전력을 100 ms 간격으로, Jetson에서는 INA3221의 VDD_IN 레일을 측정했다. llama.cpp의 llama-server와 탐욕적 디코딩(T=0)을 사용했다.
Qwen2.5-VL-3B의 시각 토큰은 224×224에서 896×896으로 갈 때 73개에서 1033개로 늘었지만 평균 전력 증가는 관찰되지 않았다. RTX 해상도 실험은 COCO 2017 검증 이미지에서 설정별 12회 실행하고 처음 2회를 워밍업으로 제외했다. 에너지 차이는 주로 전력보다 실행시간에서 생겼다는 해석이다.
출력 길이 효과는 프롬프트 비교에서 직접 드러났다. Jetson의 InternVL3-1B는 “Describe this image”에 평균 398토큰과 디코드 18.0초를 썼지만 한 단어로 답하게 하면 EOS를 포함해 평균 3토큰, 0.07초였다. 객체 수로 나눈 COCO 이미지 40장에서도 장면이 복잡할수록 답이 길어져 에너지가 최대 4.1배 달라졌다.
| InternVL3-1B 프롬프트 | 평균 출력 토큰 | 디코드 시간 |
|---|---|---|
| Describe this image | 398 | 18.0 s |
| What is the main object? Answer in one word | 3 (EOS 포함) | 0.07 s |
자료: STORIUM 정리
고정 토큰 모델에서 시각 토큰을 전부 제거해도 절감 상한은 총에너지의 10%인 반면 출력 길이 제어의 계산상 절감 폭은 최대 97%였다. 다만 프로파일링은 주로 1B~4B 모델, batch size 1에 집중됐고 논문의 규모 분석은 1B~8B에 한정된다. 배치 처리와 동시 서빙에서도 같은 비율이 유지되는지는 검증되지 않았다.
저작권자 © STORIUM 무단전재 및 재배포 금지
