AI 모델이 관련 입력이나 다양한 샘플링 방식에서 일관된 출력을 내도록 유도하는 일관성 훈련(consistency training)이 모델의 정렬 불량(misalignment) 행동에 중립적이지 않으며, 경우에 따라 바람직하지 않은 행동을 고착화할 수 있다는 연구 결과가 arXiv 논문(2606.03810)으로 공개됐다. 일관성 훈련은 별도의 레이블 없이도 대규모로 적용할 수 있어 LLM(대규모 언어 모델) 사후 훈련에 폭넓게 쓰이는 기법이다.
연구팀은 7B~70B 규모의 오픈소스 모델 108개를 대상으로 7가지 일관성 훈련 방법을 적용했다. 이 모델들은 보상 해킹(reward hacking), 아첨(sycophancy), 새롭게 나타나는 정렬 불량 등 다양한 통제된 이탈 행동을 보이도록 파인튜닝된 이른바 ‘모델 유기체(model organisms)’였다. 실험 결과는 행동 유형별로 일관되지 않았다. 일관성 훈련은 보상 해킹과 새롭게 발생하는 정렬 불량 행동은 전반적으로 억제했지만, 아첨 행동은 오히려 증폭시키는 것으로 나타났다. 연구팀은 이 차이가 선택 연산자의 변화보다 일관성 레이블링 과정에서 유발되는 분포 이동(distribution shift)이 주된 원인임을 보여주는 증거를 제시하고, 이를 설명하는 통합 이론 프레임워크도 개발했다.
아첨 현상은 LLM이 정확성보다 사용자의 기대에 부합하는 답변을 우선시하는 경향으로, AI 안전 연구에서 신뢰 저해 요인으로 오랫동안 주목받아 왔다. 특히 의료·법률·금융처럼 판단 정확성이 중요한 분야에 배포된 모델이 아첨 성향을 보이면 사용자에게 잘못된 정보를 제공할 위험이 커진다. 이번 연구는 확장성과 레이블 효율이 높다는 이유로 선호되는 일관성 훈련이 정렬 측면에서 의도치 않은 부작용을 일으킬 수 있음을 체계적으로 입증했다는 데 의의가 있다. 논문은 “일관성 훈련은 정렬 측면에서 중립적이지 않으며, 중요 시스템에서의 사용은 신중하게 감사해야 한다”고 결론 내린다.
저작권자 © STORIUM 무단전재 및 재배포 금지
