기기마다 흩어진 데이터를 서버로 모으지 않고 학습하는 연합학습(federated learning)에서, 통신을 단 한 번으로 줄이면서도 프라이버시를 정식으로 보장하는 방법이 나왔다. 막시밀리안 안드레아스 회플러 등 연구진은 협력적 합성 데이터 생성 기법 ‘FedKT-CSD’를 제안하는 논문을 arXiv에 사전 공개했다. 아직 동료심사를 거치지 않은 원고다.
단일 라운드로 끝내는 원샷(one-shot) 연합학습은 통신 비용을 크게 줄여 주지만, 이 제약 아래에서 모델 품질을 유지하기가 어렵다. 특히 참여 클라이언트마다 데이터 분포가 크게 다를 때 문제가 두드러진다. 기존 해법들은 중앙 서버에서 공유 합성 데이터셋을 만드는 방식을 쓰는데, 프라이버시 보장 측면에서 미흡한 경우가 많았다.
연구진이 제안한 FedKT-CSD(Federated Knowledge Transfer via Collaborative Synthetic Data)는 신경망 기반 이미지 압축 기법에서 착안해 공개적으로 사전학습된 오토인코더를 공유 잠재 공간으로 활용한다. 각 클라이언트는 자신의 비공개 데이터를 단 한 번의 순전파(forward pass)로 인코딩하고, 클래스별 잠재 통계량을 계산해 서버로 보낸다. 서버는 이 통계량을 보안 집계(secure aggregation)로 결합한 뒤 보정된 차등 프라이버시 잡음을 더하고, 전역 모델 학습과 다른 후속 작업에 쓸 수 있는 합성 데이터셋을 복원한다.
이 방식은 설계 자체로 (ε,δ)-차등 프라이버시를 보장하면서 클라이언트 쪽 연산·통신 부담을 최소한으로 유지한다. 연구진은 이런 내장된 프라이버시 보호에도 불구하고, 여러 데이터셋과 다양한 데이터 이질성 조건에서 프라이버시 보호가 없는 방식과 대등하거나 때로는 더 나은 성능을 냈으며, 많은 수의 클라이언트로도 효과적으로 확장됐다고 밝혔다. 자세한 내용은 원문 초록 보기에서 확인할 수 있다.
