연구팀이 연합 학습(Federated Learning, FL) 환경에서 시간에 따른 데이터 분포 변화로 발생하는 ‘시간적 망각(temporal forgetting)’ 문제를 억제하는 방법론 ‘FlashbackCL’을 발표했다. 연합 학습은 여러 기기나 기관이 원본 데이터를 공유하지 않고 분산된 환경에서 모델을 공동 학습하는 방식으로, 각 참여 기기의 로컬 데이터 분포가 시간에 따라 바뀌면 기존에 학습된 내용이 점진적으로 손상되는 문제가 있다. FlashbackCL은 기존 Flashback 방법에 세 가지 핵심 개선을 더해 이 문제에 대응한다.
세 가지 개선 요소는 다음과 같다. 첫째, 시간 감쇠 레이블 카운트(temporally-decayed label counts)로 단조롭게 누적되던 클래스 비율 추정치를 최신 분포에 맞게 조정한다. 둘째, 기기 인식 리플레이 버퍼(device-aware replay buffer)에 클래스 균형 저장소 샘플링(Class-Balanced Reservoir Sampling)을 적용해 과거 데이터를 편향 없이 보존한다. 셋째, 서버 측 능동 코어셋 큐레이션(server-side active coreset curation)으로 대표적인 샘플만 선별해 보관한다. 5가지 변형을 비교한 절제 연구(ablation study)에서는 클래스 균형 리플레이가 가장 핵심적인 요소임이 확인됐다.
실험 결과 FlashbackCL은 CIFAR-10 기준 Flashback 대비 6.9~10%의 상대적 성능 향상을 달성했으며, 시간적 망각은 최대 68%까지 줄었다. 분포가 고정된 정적(stationary) CIFAR-100 환경에서도 Flashback 성능을 3.5포인트 개선해, 동적·정적 데이터 환경 모두에서 효과적임을 보였다. 논문 저자는 Mubarak A. Ojewale, Adriana E. Chis, Jorge M. Cortes-Mendoza, Bernardo Pulido-Gaytan, Horacio Gonzalez-Velez 5인이다.
연합 학습은 의료, 금융, 모바일 단말 등 데이터 프라이버시가 중요한 분야에서 주목받고 있으나, 실제 배포 환경에서 데이터 분포가 고정되어 있다고 가정하는 경우는 드물다. FlashbackCL의 접근법은 이 간극을 메우기 위해 지속 학습(continual learning)의 리플레이 기법을 연합 학습의 이질적 환경에 맞게 재설계했다는 점에서 의의가 있다. 향후 대규모 이기종(heterogeneous) 기기 환경에서의 확장 가능성이 후속 연구의 과제로 남는다.
