파스 우프만(Parth Upman), 니시타 자인(Nishita Jain), 슈레양크 고다(Shreyank N Gowda) 연구진이 텍스트-이미지 확산모델에서 특정 개념만 골라내 지우면서도 이와 의미적으로 연관된 다른 개념은 손상시키지 않는 새로운 기법 ‘CARE’를 제안했다. 확산모델이 특정 인물이나 유해 콘텐츠, 저작권이 있는 스타일 등을 생성하지 못하도록 개념을 제거하는 연구는 AI 안전성 확보 차원에서 활발히 이뤄지고 있는데, 학습 없이(training-free) 개념을 지우는 기존 방식은 삭제 정밀도를 높일수록 의도치 않게 관련된 다른 개념까지 훼손하는 부작용이 있었다는 게 연구팀의 지적이다.
기존의 값 공간(value-space) 기반 삭제 방법들은 교차 어텐션(cross-attention) 값에서 목표 개념 방향에 해당하는 성분을 단순히 제거하는 방식으로 작동했다. 이 방식은 목표 개념과 벡터 공간상 가까운 다른 개념까지 함께 손상시키는 부수적 피해를 일으키기 쉽다는 한계가 있었다. CARE는 이런 원시 목표 방향을 그대로 제거하는 대신, 보존하고자 하는 소규모 개념 앵커(anchor) 집합에서 계산한 ‘유지 부분공간(kept-subspace)’을 고려한 방향으로 대체하는 닫힌 형태(closed-form)의 연산자를 도입했다.
이 방식의 핵심은 삭제할 개념의 방향을 무작정 지우는 게 아니라, 남겨야 할 개념들이 이루는 부분공간을 먼저 파악한 뒤 그 공간과 최대한 독립적인 방향만 골라 제거한다는 점이다. 단일한 축소(shrinkage) 매개변수 하나로 삭제 강도와 보존 정도 사이의 균형을 조절할 수 있도록 설계돼, 사용자가 필요에 따라 삭제 성능과 부수적 피해 방지 사이의 절충점을 유연하게 조정할 수 있다.
연구팀은 실험 결과 CARE가 기존 방법 대비 목표가 아닌 개념을 더 잘 보존하면서도 목표 개념 삭제 성능에서는 경쟁력 있는 수준을 유지했다고 밝혔다. 파인튜닝이나 추가 학습 없이 적용할 수 있다는 점에서, 실서비스에 배포된 대형 확산모델에 신속하게 안전장치를 추가해야 하는 상황에 실용적인 대안이 될 것으로 보인다. 이는 AI 모델의 능력을 정밀하게 평가하려는 벤치마크 연구 흐름과 마찬가지로, 모델의 행동을 세밀하게 통제하려는 연구가 이미지 생성 분야에서도 확산되고 있음을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
