소비자용 GPU 한 장으로 신경망 구조를 찾기 위해, 이 연구는 트랜스포머 제어기와 인공 벌 군집 탐색을 한 흐름으로 묶었다. 성능 정체를 감지하면 엔트로피를 높여 구조 다양성을 강제로 회복하고, 깊이 페널티를 보상에 넣어 정확도만 쫓다가 모델이 비대해지는 현상을 억제했다.
소비자용 NVIDIA RTX 3060 한 장에서 CIFAR-10과 신용카드 사기 탐지를 시험했다.
후보는 40% 학습 분할에서 10에폭씩 프록시 평가했고, 주요 지표는 세 시드 평균과 표준편차로 보고했다. 탐색 시간과 후보 학습 예산을 제한했으므로 대규모 NAS의 완전학습 비교와는 조건이 다르다.
| 구성 | 평균 정확도 | 평균 파라미터 | 탐색 시간 |
|---|---|---|---|
| 깊이 페널티 적용·전체 예산 | 84.85%±2.88% | 약 174k | 약 192분 |
| 깊이 페널티 없음·전체 예산 | 86.82%±1.74% | 약 229k | 약 233분 |
자료: STORIUM 정리.
CIFAR-10에서는 약 3시간 탐색으로 파라미터 약 17만4천 개, 정확도 84.85%인 구조를 찾았다. 깊이 페널티를 빼면 정확도는 86.82%로 올랐지만 규모가 약 22만9천 개로 늘었다. 사기 탐지에서는 약 4,600개 파라미터로 F1 0.71을 기록해 이미지와 불균형 표 데이터 양쪽의 목적함수 변경 가능성을 보였다.
성과의 의미는 최고 정확도 경쟁보다는 제한된 장비에서 목표 지표와 모델 크기를 함께 탐색할 수 있다는 데 있다. 프록시 평가와 전역·지역 탐색의 역할 분담은 엣지용 맞춤 모델 설계에 적용할 수 있지만, 탐색공간에 없는 연산이나 연결은 발견할 수 없다.
arXiv:2607.11826은 아직 동료검토를 마치지 않은 공개 원고다. 프록시 표본이 더 복잡한 데이터에서도 후보 순위를 안정적으로 보존하는지, 넓힌 탐색공간에서도 비용 이점이 유지되는지는 확인되지 않았다. 제안법은 자동회귀 트랜스포머 제어기가 네트워크의 거시 구조를 만들고, 인공 벌 군집 알고리즘이 이웃 변이로 미세 조정하는 메메틱 탐색이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
