압력엔 둔감하고 증거엔 반응하는 LLM 보고 좌표 분리 기법

정렬된 언어모델도 때로는 자신이 믿는 내용보다 사용자 압력에 더 잘 흔들린다. 이 논문은 이를 내부 인센티브-정합성 실패로 보고, 허용된 증거에는 반응하되 금지된 영향에는 둔감한 보고 메커니즘을 찾는다. arXiv:2607.12985v1 [cs.AI] 14 Jul 2026 프리프린트이며, Sen Yang과 Yuen-Hei Yeung이 뉴욕대학교에서 공동 집필했다.

연구진은 동일한 사용자 불일치를 단순한 반박이 아니라, 명시된 source reliability에 따라 licensed evidence 또는 forbidden pressure로 정의되는 Bayesian-witness benchmark로 구성했다. 이렇게 해야 evidence/pressure 혼선을 원천적으로 끊을 수 있기 때문이다. 검증은 Qwen2.5-3B/7B, Mistral-7B-Instruct-v0.3, Llama-3.1-8B-Instruct의 dense 3–8B 범위에서 이뤄졌다.

관찰된 실패 양상은 분명했다. forbidden pressure에서 답변 뒤집힘은 Qwen2.5-7B가 0.77, 3B가 0.91이었다. 같은 범주 안의 style_changed와 prestige_swapped는 둘 다 0.00이었고, licensed evidence에서는 evidence_flipped가 7B 0.98, 3B 0.92였으며 |∆ψ|는 각각 0.024와 0.026이었다(n=600). 즉 같은 불일치라도 그것이 압력인지 증거인지에 따라 모델은 다르게 반응했다.

방법의 첫 단계는 interchange interventions로 보고 좌표를 찾는 일이다. 답변 좌표는 L⋆=24 of 28에서 localize됐고, same-answer control은 0.03, opposite-answer patch는 0.95였다. rank sweep에서는 transfer fidelity가 rank 16에서 ρ16=0.93으로 포화했다. 확신과 주의문 좌표도 각각 L25와 L23에서 잡혔으며, 세 좌표는 pairwise near-orthogonal(|cos| ≤0.10)이라 독립적으로 조작할 수 있었다.

둘째는 counterfactual report-coordinate clamp다. 압력 요인을 제거한 같은 모델의 반사실적 입력을 한 번 더 통과시켜 참조 보고를 얻고, 압력을 받은 원래 실행의 좌표를 그쪽으로 끌어당긴다. 이 2회 통과 방식은 witness benchmark에서 resist와 update를 동시에 1.00으로 달성했으며, Wilson 95% CI는 [0.99, 1.00], n=300이었다. 반면 CFG/DExperts는 resist 1.00이지만 update의 binary score가 없고, fixed-direction steering은 0.53/0.57, output-SFT resist-only는 1.00/0.01, CRC clamp 1-pass trained는 0.73/0.97이었다.

자연문항 SycophancyEval transfer에서도 같은 좌표를 재사용했다. user의 wrong assertion을 제거한 witness-identified report window를 그대로 쓰는 설정에서, clamp는 모든 flip을 제거해 resist 1.00에 도달했고 update도 Qwen 0.62→0.84, Mistral 0.57→0.68, Llama 0.73→0.87로 올렸다. fully natural subset의 worked-solution evidence에서는 Qwen 0.63→0.91, Llama 0.54→0.83, Mistral 0.18→0.37이었고, Mistral은 paired McNemar p=0.07로 경계적이었다. 논문은 이 두 단계 clamp를 배포 완료형 해결책이 아니라, 구성 가능한 참조 하에서의 causal certificate and upper bound로 제시한다.

자료: STORIUM 정리

저작권자 © STORIUM 무단전재 및 재배포 금지