자연어 추론(NLI)에서 사람들 사이의 라벨 차이는 이제 잡음이 아니라 신호로 다뤄지곤 한다. 그런데 그 차이의 어느 부분을 형식적 의미 구조가 설명하는지는 직접 측정되지 않았다. 이 연구는 arXiv 프리프린트 상태에서 ChaosNLI의 SNLI·MNLI 3,113개 항목을 대상으로, 단조성 정보가 라벨 분산과 어떤 관계를 갖는지 검증했다.
분석에는 규칙 기반 연산자 태거와 단조성 태거가 쓰였고, 이는 MED와 비교해 편집 지점 기준 0.883, 문장 수준 요약 기준 0.807의 일치도를 보였다. 본문은 세 개의 사전등록 분석 블록과 음성 결과의 전부 보고를 바탕으로, 먼저 집단 수준 경계를 본다. 가설 문장이 순수 상승 단조가 아닐 때 라벨 엔트로피가 더 높았고, Cliff’s δ는 -0.284였다. 순위 기반 검정은 연산자 존재 여부나 길이 감소를 대안 설명으로 놓고도 이 차이를 지지했다.
같은 형식적 프로필이 개별 항목을 얼마나 가려내는지도 따져봤지만, 그 설명력은 엔트로피 분산의 3.3~3.6%에 그쳤고, 중간값 분할 AUC는 0.606이었다. 고분산 항목을 식별하기에는 약한 수준이라는 뜻이다. 즉, 형식 의미 구조는 “얼마나” 사람들이 다투는지는 조금 움직이지만, “무엇을” 두고 다투는지는 드러내지 못했다.
경계 바깥의 내용 차이도 검증했다. 검증된 error share와 explanation-type share를 대상으로 한 세 개의 고력 사전등록 대비는 모두 귀무결과를 반환했다. 이는 단조성 경계가 분산의 크기에는 영향을 주더라도, 오류 비율이나 설명 유형의 구성에는 검출 가능한 변화를 만들지 않았음을 뜻한다.
| 항목 | 값 |
|---|---|
| 분석 표본 | ChaosNLI의 SNLI·MNLI 3,113개 항목 |
| MED 검증 일치도 | 편집 지점 0.883, 문장 수준 요약 0.807 |
| 집단 수준 효과 | Cliff’s δ = -0.284 |
| 항목 수준 설명력 | 엔트로피 분산 3.3~3.6%, median-split AUC 0.606 |
| 비교 결과 | 검증된 error share와 explanation-type share에서 세 대비 모두 null |
자료: STORIUM 정리
해석에는 범위 제한이 붙는다. 이 샘플은 원래 정답 합의가 낮은 항목만 고른 ChaosNLI-S/M이며, 따라서 무제한 NLI 데이터보다 효과가 약화될 수 있다. 또한 하나의 사전등록 해석 규칙에는 논리적 오류가 있어 결과를 본 뒤 수정되었고, 해당 수정 경위와 감사 추적이 공개됐다. 보고된 수치들은 모두 이 범위 안에서 읽어야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
