파비앙 폴리(Fabien Polly) 연구자가 매개변수 효율적 파인튜닝(PEFT) 과정에서 발생할 수 있는 악의적 조작, 즉 파인튜닝 오염(fine-tuning poisoning) 공격을 막는 새로운 방어 기법을 제안했다. LoRA 같은 경량 파인튜닝 방식은 적은 자원으로도 모델을 원하는 작업에 맞게 조정할 수 있지만, 여전히 모델의 행동을 크게 바꿀 수 있는 넓은 업데이트 공간을 허용하기 때문에 악의적인 목적함수도 그대로 표현되고 최적화될 수 있다는 게 연구의 문제의식이다.
연구는 이에 대한 대안으로, 기존에 신뢰할 수 있다고 검증된 작업별 어댑터들의 풀에서 추출한 부분공간(subspace)으로 파인튜닝 범위를 제한하는 방식을 제시했다. flan-t5-large 모델과 196개의 공개 LoRA 어댑터를 대상으로 한 실험에서, 어댑터의 기능적으로 의미 있는 정보는 저차원의 공유 부분공간에 존재하며 평가된 작업 분포 기준으로 가중치 노름(norm)의 30~38%는 중복(redundant) 정보라는 사실을 확인했다.
이 부분공간의 128개 좌표로만 제한한 그래디언트 적응 방식은 깨끗한 분류 데이터에서 전체 LoRA 파인튜닝과 동등한 성능을 냈다. 반면 표적화된 레이블 반전(label inversion) 공격 아래에서는 일반 LoRA의 정확한 일치율이 3~26%까지 붕괴한 반면, 제약된 학습기는 풀이 다루는 작업에서 62~96%의 성능을 유지했다. 또 제약된 학습기는 오염된 데이터에 아예 적합(fit)하지 못해, 적응 손실 값이 정상 데이터와 오염 데이터 사이에서 120배(두 자릿수 차이)나 벌어져 별도의 탐지기 없이도 이상 신호로 활용될 수 있었다.
부분공간 내부에서 최적화하는 적응형 백도어 공격자를 상대로도, 목표 행동이 풀에 담긴 것과 전혀 다른 작업에서는 공격 성공률이 8%로 억제됐다(일반 LoRA는 100%). 다만 공격 목표가 풀에 흔한 행동과 겹칠 때는 85%까지 부분적으로만 차단됐다. 연구팀은 이 결과가 공격 목표가 신뢰 풀의 방향과 얼마나 가까운지에 좌우된다는 점을 시사하지만 이를 확정 짓는 것은 아니라고 밝혔다. 이 방어 기법은 최고 수준의 성능을 일부 희생하는 대신 안전성을 얻는 절충 구조이며, 풀 자체가 신뢰할 수 있다는 전제를 필요로 한다는 한계도 함께 언급됐다. 관련 코드와 데이터는 공개됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
