최근 사전학습된 비전 모델들은 높은 정확도를 보이지만 미세조정(fine-tuning) 과정에서 막대한 GPU 메모리를 요구해 엣지(edge) 환경 배포가 현실적으로 어렵다는 문제가 있다. 이런 제약을 해소하기 위해 한 연구팀이 자원이 제한된 소비자용 GPU에서 비전 모델과 비전-언어 모델(VLM)을 효율적으로 미세조정하는 방법을 비교 분석한 연구를 내놨다.
연구팀은 2기가바이트(GB) 안팎의 온디바이스 VRAM 예산을 기준으로, 5가지 파라미터 효율적 미세조정(PEFT) 기법인 전체 미세조정(Full FT), 로라(LoRA), 어댑티브로라(AdaLoRA), 큐로라(QLoRA), 비트핏(BitFit)을 트랜스포머 기반 비전 백본(ViT-Small, TinyViT)과 맘바(Mamba) 기반 비전 백본(Vim-Small, MambaVision-T)에 적용해 비교했다. 여기에 그래디언트 체크포인팅 전략 3종(미적용, 정적 방식, 그리고 연구팀이 자체 제안한 메모리 예산 인지형 적응 알고리즘)도 함께 평가했다. 아울러 오픈CLIP·시그립(SigLIP) 같은 제로샷 대조학습 기반 비전-언어 모델, 자기지도학습 기반 비전 백본 디노v2(DINOv2), 프롬프트 기반 분류가 가능한 자기회귀형 VLM인 팔리제마(PaliGemma)·모바일VLM·스몰VLM 등 세 계열의 파운데이션 모델도 비교 대상에 포함했다.
CIFAR-100과 DTD 데이터셋을 활용한 실험에서 연구팀은 정확도, 훈련 시간, 에너지 소비, 그리고 다목적 지표인 넷스코어(NetScore) 계열 지표(자체적으로 배포 환경을 고려한 2가지 변형 지표 추가)를 측정했다. 그 결과 큐로라와 비트핏은 정확도를 1~2%포인트만 희생하면서 에너지 소비를 20~30% 절감했으며, 연구팀이 제안한 적응형 체크포인팅 알고리즘은 에너지 소비가 9~30% 늘어나는 대신 최대 메모리 사용량을 43~79% 줄이는 것으로 나타났다.
특히 눈에 띄는 결과는 자기지도학습 모델인 디노v2가 CIFAR-100에서 미세조정된 모델들을 정확도(0.917 대 0.897)로 앞서면서도 에너지 소비는 훨씬 적었다는 점이다. 반면 소형 자기회귀형 VLM들은 이런 경쟁력 있는 대안이 되지 못한 것으로 확인됐다. 이번 연구는 자원이 제한된 온디바이스·엣지 환경에서 어떤 조합의 모델과 미세조정 기법이 정확도와 에너지 효율 사이 최적의 균형을 이루는지에 대한 실용적인 지침을 제공한다는 점에서 의미가 있다.
