Centroid neural network(CentNN)는 비지도 경쟁학습 군집화 알고리즘으로, 중심 벡터를 한 샘플씩 갱신하고 분할은 엄격한 국소 안정화 뒤에만 허용한다. 이 arXiv 보고서는 그 구조를 유지하면서도 비효율을 줄이기 위해 FastCentNN을 제안한다.
핵심은 매 에포크의 총 centroid 이동량을 훈련 엔트로피의 대리값으로 보고, 이동량이 임계값 이하인 상태가 정해진 patience window 동안 이어지면 조기 분할을 실행하는 방식이다. 절대 임계값과 stage-relative 임계값을 모두 지원해, 분할 기준을 고정형 또는 적응형으로 둘 수 있다.
실험은 원래 CentNN과 동일한 파라미터 설정으로, 합성 2차원 데이터 A1, A2, S1, S2, R15, Aggregation과 고차원 이미지 데이터 MNIST, Fashion-MNIST에서 수행됐다. 2D 데이터 6종의 평균 실행 시간 감소는 약 9.6%였고, 가장 큰 속도 향상은 A1의 16.72%, 가장 작은 향상은 R15의 4.18%였다. 표 1의 ∆MSE는 A1 +2.47×10−7, A2 +5.18×10−7, S1 0, S2 +7.53×10−7, R15 0, Aggregation -2.83×10−2로 제시됐다.
표 1에 따르면 A1은 3,000개 표본에서 1.575초와 155회 에포크였던 CentNN이 FastCentNN에서 1.312초와 128회로 줄었다. A2는 5,250개 표본에서 4.771초와 274회에서 4.324초와 246회로 감소했다. S1은 5,000개 표본에서 1.110초와 64회, S2는 1.856초와 110회에서 각각 1.048초와 61회, 1.728초와 102회로 보고됐고, R15는 600개 표본에서 0.077초와 34회에서 0.073초와 33회였다. Aggregation은 788개 표본, 7개 군집 조건에서 0.113초와 40회에서 0.096초와 34회로 제시됐다.
| 데이터셋 | 표본·설정 · CentNN 대비 FastCentNN 결과 |
|---|---|
| A1 | 3,000 instances, 20 clusters · runtime 1.575 / 1.312 s, epochs 155 / 128, ∆MSE +2.47×10−7, speed up 16.72% |
| Aggregation | 788 instances, 7 clusters · runtime 0.113 / 0.096 s, epochs 40 / 34, ∆MSE -2.83×10−2, speed up 14.80% |
| MNIST | 10,000 instances, 10 clusters · runtime 8.344 / 7.924 s, epochs 141 / 132, ∆MSE +1.53×10−5, speed up 5.03% |
| Fashion-MNIST | 10,000 instances, 10 clusters · runtime 8.220 / 7.775 s, epochs 127 / 119, ∆MSE -6.37×10−5, speed up 5.41% |
고차원 데이터에서는 MNIST와 Fashion-MNIST를 각각 10개 목표 군집, 10,000개 표본 조건으로 평가했다. MNIST는 8.344초에서 7.924초로, 에포크 수는 141회에서 132회로 줄었고 ∆MSE는 +1.53×10−5였다. Fashion-MNIST는 8.220초에서 7.775초, 127회에서 119회였고 ∆MSE는 -6.37×10−5였다. 두 데이터 모두 CentNN 대비 약 5% 수준의 실행 시간 감소가 보고됐다.
이 보고서는 FastCentNN이 CentNN의 원래 winner-loser 학습 동역학을 유지하면서, 조절 가능한 분할 임계값으로 속도와 안정성의 절충을 다룰 수 있다고 정리한다. 결과는 표준 벤치마크와 제한된 데이터셋에 대한 비교에 머문다.
저작권자 © STORIUM 무단전재 및 재배포 금지
