배포 전 블랙박스 감사는 언어모델의 위험 행동을 찾는 핵심 절차지만, 평범한 질문만으로는 학습 중 얻은 숨은 정보나 미묘한 정렬 실패가 드러나지 않을 수 있다. ICML 2026 채택 논문인 이 연구는 모델이 속으로 더 많이 말하도록 추론 성향을 가중치 수준에서 증폭하는 ‘오버싱킹’을 제안했다. 같은 계열의 비추론 지시 모델과 추론 증류 모델 사이의 매개변수 차이를 추론 방향으로 보고, 그 차이를 추론 모델보다 더 크게 적용해 감사용 변형 모델을 만든다.
단순히 모든 가중치를 세게 흔들면 출력 품질과 일관성이 무너질 수 있다. 연구는 계층별 감쇠 전략을 함께 도입해 추론 관련 변화를 선택적으로 키우면서 문장의 품질을 유지하려 했다. 여러 크기의 모델과 서로 다른 실험 설정에서 오버싱킹 모델은 기존 추론 모델보다 숨은 정보나 의도하지 않은 행동을 더 자주 표면화했다. 다만 비밀의 종류에 따라 반응은 달랐다. 어떤 정보는 추론 방향의 교란이 필요했지만, 다른 정보는 충분히 큰 일반적 가중치 교란만으로도 나타났다.
이 방법은 성능 향상을 위한 새 추론 모델이라기보다 내부 위험을 찾는 화이트박스 감사 도구에 가깝다. 모델 공급자는 배포 버전만 질의하는 평가와 함께 매개변수 변형을 이용한 스트레스 테스트로 발견 범위를 넓힐 수 있다. 동시에 감사 과정에서 실제 민감 정보가 노출될 수 있으므로 결과 접근 권한과 보관 정책이 필요하다. 추론을 강화하면 모델이 더 정직해진다고 단정할 수도 없다. 드러난 내용은 학습된 비밀일 수도 있고 큰 교란이 만든 산물일 수도 있어 대조 실험이 중요하다. 연구는 추론 능력의 방향 자체를 안전 감사에 활용한다는 새로운 관점을 제시한다.
원문: arXiv 2607.08173
저작권자 © STORIUM 무단전재 및 재배포 금지
