신경망을 역전파(backpropagation) 없이 층별 지역 최적화로 훈련하는 Forward-Forward(FF) 알고리즘을 실제 회귀 문제에 최초로 적용한 FFR(Forward-Forward for Regression) 연구가 arXiv에 공개됐다. FF 알고리즘은 생물학적으로 그럴듯한 학습 방식으로 제안됐으나, 분류 문제의 대조적 양성-음성 샘플 쌍을 기반으로 설계돼 연속 목표값이 필요한 회귀 문제에는 근본적 한계가 있었다.
연구팀은 이를 해결하기 위해 세 가지 핵심 기법을 도입했다. 첫째, 거리 인식 서수 감독 아래 분할된 뉴런 그룹 간 경쟁 학습으로 대조 쌍을 대체하는 서수 경쟁적 적합도 함수를 설계했다. 둘째, 얕은 층은 거친 서수 판별을 학습하고 깊은 층은 세밀한 회귀로 정교화하며 다중 스케일 특징 집계로 층간 협력을 가능하게 하는 계층적 래더 아키텍처를 구성했다. 셋째, 다중 스케일 예측기들이 공동으로 강건한 예측과 예측 신뢰도를 무료로 제공하는 계층적 예측과 불확실성 추정 기법을 적용했다.
5개 실세계 회귀 벤치마크에서의 실험 결과, FFR은 역전파 대비 평균 정확도의 98.6%를 회복하면서 훈련 메모리 사용량은 깊이 8 기준 27%, 깊이 32 기준 8%에 불과했으며, 반복당 시간도 역전파의 72% 수준으로 줄었다. 역전파 없는 경쟁 방법들보다는 실질적으로 우수한 성과를 보였다고 연구팀은 밝혔다.
역전파는 현대 딥러닝의 표준이지만 생물학적 신경망의 작동 방식과 다르고 메모리 효율에도 제약이 있어 대안 학습 알고리즘 연구가 꾸준히 이어지고 있다. FFR은 FF 알고리즘의 적용 영역을 분류에서 회귀로 확장해 에지 환경이나 메모리 제약 상황에서의 신경망 학습에 새로운 방향을 제시할 것으로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
