InternVL2-4B의 DC-DS에서 내부 오류 탐지기가 필요할 때만 재질문하는 detector-guided self-correction은 정확도를 34.62%에서 50.21%로 높였다. 증가폭은 15.60%포인트로 이 설정에서 가장 컸다. 다만 모든 샘플을 재질문하는 Always Reprompt가 여러 경우 더 높았고, 논문도 이를 비현실적 기준선으로 구분했다.
분석 대상은 InternVL2-1B·4B와 Qwen3-VL-2B·8B-Instruct, 합성 카운팅 데이터셋 네 개와 CountBench다. ground-truth 개수, 모델 출력 개수, 정답 여부를 각각 읽는 선형·로지스틱·원형·MLP 프로브를 중간 활성값에 학습했다. 제로샷 greedy decoding을 사용했고 합성 데이터셋은 각 1170장, CountBench는 객체 9개 이하만 남겨 50/50으로 나눴다.
비선형 프로브는 오류를 안정적으로 감지했고 일부 모델에서는 정답 개수와 출력 개수를 별도로 읽었다. SVCCA에서 두 프로브는 일부 하위공간만 공유했으며 비선형 프로브의 정렬은 거의 직교에 가까웠다. 이를 내부 수량 정보와 언어화된 출력 사이의 misalignment로 해석했다.
상관 분석을 넘어 Logistic gt_probe 방향으로 가장 잘 맞는 레이어의 활성값을 조정하는 causal steering도 시험했다. 네 합성 데이터셋에서 비개입 기준선을 넘었고 특정 조건은 약 19%포인트 개선됐다. 임의 방향은 대체로 성능을 떨어뜨렸고 α가 지나치게 크면 개선도 사라졌다.
| 모델·데이터셋 | 개입 전 | detector-guided 후 | 증가 |
|---|---|---|---|
| InternVL2-4B · DC-DS | 34.62% | 50.21% | 15.60%p |
자료: STORIUM 정리
실험 상당 부분이 합성 이미지이고 개수 범위도 1~9로 제한됐다. 효과 크기는 모델·데이터셋마다 달랐으므로 VLM 일반의 카운팅 메커니즘으로 확정할 수 없다. Ahmed Oumar El-Shangiti 등이 공개한 arXiv:2607.09544v1 프리프린트의 초기 기계론적 근거다.
저작권자 © STORIUM 무단전재 및 재배포 금지
