신경망 가지치기는 덜 중요한 파라미터를 제거해 모델 크기를 줄이면서 예측 성능을 유지하는 기법이다. 복권 가설(Lottery Ticket Hypothesis, LTH)은 적절한 초기화에서 훈련하면 밀집 신경망에 필적하는 희소 서브네트워크를 찾을 수 있음을 보여줬지만, 반복적인 가지치기 절차에 여러 번의 완전한 훈련 사이클이 필요하다는 한계가 있다. 연구팀은 이 단점을 극복하는 단일 사이클 대안으로 점진적 크기 기반 가지치기를 평가했다.
제안된 기법은 훈련 중 선형 스케줄로 희소성을 점진적으로 높여가며, 활성 가중치의 크기를 기준으로 가지치기 마스크를 갱신한다. 연구팀은 CIFAR-10과 MNIST 데이터셋에서 ResNet, VGG 계열, LeNet 아키텍처를 대상으로 체계적인 실험을 수행해 LTH, SNIP, GraSP 등 반복 방식과 초기화 기반 가지치기 기준선과 비교했다.
CIFAR-10에서 ResNet-18 72.9% 희소성 조건으로 95.12% 정확도를 기록했으며, 이는 LTH가 보고한 90.5%보다 높다. 극한 희소성 조건에서도 VGG 계열 아키텍처로 97% 희소성에서 93.13% 정확도를, VGG-19로 97.97% 희소성에서 93.44% 정확도를 달성했다. 같은 조건에서 SNIP은 약 92.0%, GraSP는 98% 희소성에서 92.19%를 기록한 것과 비교하면, 제안 기법이 초기화 기반 가지치기 기준선보다 더 높은 정확도를 유지한 셈이다. ResNet-18을 대상으로 한 희소성-정확도 분석에서는 70~85% 희소성 범위에서 정확도가 밀집 기준선과 0.1%포인트 이내를 유지했다.
이 결과가 갖는 의미는 가지치기에 드는 계산 비용 절감에 있다. 복권 가설 계열의 반복 가지치기는 모델을 처음부터 여러 번 다시 훈련해야 해 대형 모델일수록 비용 부담이 컸다. 단일 사이클 방식이 비슷하거나 더 나은 정확도를 내면, 제한된 자원에서 모델을 경량화해야 하는 온디바이스 추론이나 엣지 환경에 곧장 활용할 여지가 생긴다. 다만 연구팀의 실험이 CIFAR-10·MNIST와 비교적 작은 아키텍처에 한정된 만큼, 대규모 모델이나 다른 과제에서도 같은 효과가 재현될지는 추가 검증이 필요하다는 점도 함께 짚어야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
