같은 사실을 말해도 권위자를 인용하는지, 질문처럼 묻는지, 확신을 낮춰 말하는지에 따라 대형 언어모델의 답이 달라졌다. ACL 2026에 발표된 이 연구는 ‘믿음 표현’(Expression of Belief, EoB)의 언어적 형식만 바꾼 통제 실험으로, 모델이 대화 속 정보를 받아들이는 경우와 학습 과정에서 익힌 기존 지식을 유지하는 경우를 비교했다.
연구진은 표현을 형식, 증거성, 인식적 태도, 어조라는 네 축으로 나눴다. 본문 p.1과 Figure 2는 권위 인용, 전언, 반사실, 질문, 격식체, 감정 호소 등을 포함한 19개 세부 유형을 제시한다. 다만 arXiv 초록에는 17개 유형이라고 적혀 있어 버전 내부 수치가 일치하지 않는다. 아래 Figure 6은 모델별 응답 상태 분포를 묶어 보여준다.
자료는 PopQA의 1만4,000개 사실 튜플에서 출발했다. 대안 사실이 기존 사실과 분명히 충돌하도록 3,462개 의미 튜플을 추린 뒤, 본문 기준 19개 EoB 유형을 결합해 65,778개 표현을 만들었다. 평가 범위도 원문 안에서 엇갈린다. 본문 p.1·p.2와 부록 Table 1에는 Gemma 3, Llama 3, Qwen 3 계열의 1B~30B 모델 18개가 나오지만 초록은 16개라고 썼다. 기사에서는 두 값을 한쪽으로 정리하지 않고 함께 남겼다.
통계 검정은 p.7에 적힌 순열검정 1,000회와 유의수준 0.05, Benjamini-Hochberg 보정을 따랐다. 아동에게 말하듯 쓰는 표현, 명령형, 격식체, 권위 인용, 가정, 감정 호소는 무작위 기준보다 문맥을 더 따르는 쪽에 놓였다. 반사실, 타인의 믿음 보고, 약한 확신, 의문형은 반대 방향이었다. 모델 크기가 커지거나 지시학습을 거친 경우 문맥 수용이 낮아지는 경향도 보고됐지만, Llama 3 1B처럼 축별 차이가 큰 예외가 있어 모든 모델에 같은 규칙으로 적용할 수는 없다.
| 항목 | 확인된 값 | 근거 |
|---|---|---|
| 언어 축 | 형식·증거성·인식적 태도·어조 | 본문 p.1~4 |
| 유형·모델 수 | 본문 19유형·18모델 / 초록 17유형·16모델 | 초록, p.1~4, 부록 Table 1 |
| 생성 자료 | 65,778개 EoB·3,462개 의미 튜플 | 본문 p.6 |
| 통계 검정 | 순열검정 1,000회·α=0.05·BH 보정 | 본문 p.7 |
이 벤치마크는 표현 방식과 응답 변화의 연관을 측정했으며, 모델 내부에서 왜 이런 차이가 생기는지까지 밝힌 연구는 아니다. 논문도 p.9에서 작동 원인에 대한 후속 연구가 필요하다고 적었다. 따라서 결과는 특정 말투로 모델을 확실히 설득할 수 있다는 사용법보다, 프롬프트 평가와 강건성 시험에서 의미가 같은 문장을 여러 표현으로 바꿔 점검해야 한다는 근거에 가깝다.
저작권자 © STORIUM 무단전재 및 재배포 금지
