빈유니버시티 연구진이 연합 지속학습(FCL) 방법을 같은 조건에서 비교하기 위한 벤치마크 라이브러리 ‘HERO’를 공개했다. FCL은 여러 클라이언트가 시간에 따라 달라지는 데이터를 공동 학습하면서 과거 지식을 유지하는 문제다. 기존 논문은 데이터셋, 과제 분할, 클라이언트별 데이터, 과제 순서, 메모리 조건과 평가 규칙을 함께 바꾸는 경우가 많아 알고리즘 차이와 실험 조건 차이를 구분하기 어렵다는 지적에서 출발했다.
HERO는 과제를 어떤 클래스나 도메인으로 나눌지, 각 클라이언트에 데이터를 어떻게 배분할지, 클라이언트가 과제를 어떤 순서로 만날지를 독립적으로 생성한다. 핵심 벤치마크 HERO-Core에서는 디리클레 분포의 α로 클라이언트 데이터 편향을, ρ로 클라이언트 간 과제 순서 불일치를 조절한다. 같은 시드로 과제 분할과 참여 일정까지 고정해 새 방법도 동일한 스트림에서 평가하도록 했다.
연구진은 CIFAR-100과 TinyImageNet의 클래스 증가형 연합학습에서 대표 방법들을 비교했다. 평가는 최종 평균 정확도(AFA), 평균 망각(AF), 성능이 낮은 하위 10% 클라이언트 정확도(B10)를 함께 사용했다. 쉬운 조건은 α=100·ρ=0, 중간 조건은 α=10·ρ=0.5, 공동 난조건은 α=0.1·ρ=1로 설정했다. 분자 그래프 OGB-MolPCBA를 이용한 도메인 증가형 이식 사례도 별도로 포함했다.
결과는 조건에 따라 우세한 방법이 달라짐을 보여줬다. CIFAR-100의 쉬운 조건에서는 FedCBDR의 AFA가 53.91, B10이 50.86으로 가장 높았지만 공동 난조건에서는 TagFed가 AFA 42.83, B10 35.92로 앞섰다. TinyImageNet에서도 쉬운 조건의 최고 AFA는 FedCBDR 38.24였고 공동 난조건은 TagFed 29.41이었다. 평균 점수만 보면 놓칠 수 있는 취약 클라이언트 성능이 B10에서 드러났다는 설명이다.
| 데이터셋·조건 | 최고 방법 | AFA | B10 | 조건 정의 |
|---|---|---|---|---|
| CIFAR-100 쉬움 | FedCBDR | 53.91 | 50.86 | α=100, ρ=0 |
| CIFAR-100 공동 난조건 | TagFed | 42.83 | 35.92 | α=0.1, ρ=1 |
| TinyImageNet 쉬움 | FedCBDR | 38.24 | – | α=100, ρ=0 |
| TinyImageNet 공동 난조건 | TagFed | 29.41 | – | α=0.1, ρ=1 |
HERO-Core는 현재 두 이미지 데이터셋과 모든 클라이언트가 결국 모든 과제를 본다는 가정에 집중한다. 비동기 학습 속도, 일부 과제 누락, 통신량·에너지, 형식적 개인정보 보호 분석과 실제 배포 검증은 포함하지 않는다. OGB-MolPCBA 결과도 다른 손실과 지표를 쓰는 이식 사례라 핵심 순위표와 직접 합쳐 비교할 수 없다.
이 연구는 2026년 6월 공개된 프리프린트이며 동료 검토 전이다. 공개된 스트림·설정·방법 구현·보고 스크립트가 실제로 재현 가능한지와 더 넓은 데이터 유형에서 결론이 유지되는지는 독립 검증이 필요하다. 연구의 핵심은 하나의 평균 순위 대신 데이터 편향과 과제 순서 불일치를 분리하고, 평균·망각·취약 클라이언트 지표를 함께 보도록 평가 틀을 정리한 데 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
