아마존이 자사 생성형 AI 모델 노바(Nova)에 재학습 없이 안전장치를 선택적으로 조정할 수 있는 ‘언러닝(unlearning)’ 기술을 적용했다고 밝혔다. 이 기능은 승인된 고객이 안전성, 민감한 콘텐츠, 공정성, 보안 등 네 가지 책임감 있는 AI 영역에서 모델의 응답 거부 기준을 정당한 업무 목적에 맞게 재조정할 수 있도록 하는 ‘맞춤형 콘텐츠 모더레이션 설정(CCMS)’의 핵심 기술이다.
아마존은 콘텐츠 조정을 위한 안전장치가 오히려 정당한 업무 요청까지 막는 ‘과잉 이탈(over-deflection)’ 문제를 지적했다. 예컨대 보안팀이 피싱 이메일 대응 훈련을 위해 샘플 문구 생성을 요청해도 모델이 거부하는 경우가 대표적이다. 이런 문제는 모델 파라미터 자체에 내재화돼 있어 프롬프트 조정만으로는 해결되지 않는다는 것이 아마존의 설명이다.
이를 해결하기 위해 연구팀은 ‘역방향 직접선호최적화(Reverse Direct Preference Optimization, rDPO)’라는 기법을 개발했다. 기존 선호 최적화 기법의 선호 쌍을 반전시키는 방식으로, 단순히 회피 행동을 학습에서 지우는 것을 넘어 동시에 고품질 응답을 생성하도록 유도한다는 점이 특징이다. 로라(LoRA) 어댑터를 활용해 훈련 효율과 낮은 추론 비용을 확보했다. 노바2 라이트 모델에서 평가한 결과, 안전성 영역의 거부율은 86.51%에서 32.77%로, 보안 영역은 91.61%에서 45.73%로, 민감한 콘텐츠 영역은 79.02%에서 33.58%로 각각 줄었다. 공정성 영역도 51.84%에서 23.83%로 낮아져, 최대 54%포인트의 거부율 감소가 확인됐다.
이 과정에서 모델의 일반 성능 저하는 크지 않았다. 지시 이행 능력은 94.12%에서 92.57%로, 수학 문제풀이는 86.40%에서 85.20%로, 코드 생성 능력은 74.80%에서 73%로 각각 2%포인트 미만의 하락에 그쳤다. 아마존은 앞서 노바 임베딩 기술을 항공사진 자연어 검색 시스템에 적용한 데 이어, 이번 언러닝 기술로 기업 고객이 업무 특성에 맞게 모델 안전장치를 정밀하게 조정할 수 있는 옵션을 넓히고 있다.
