대규모 비전-언어 모델(LVLM)은 시각 이해와 추론 능력에서 인상적인 성과를 보이지만, 사회적 편향에는 여전히 취약하다. 이 논문은 고정된 이미지-질문 쌍을 한 번만 평가하는 기존 방식이 모델의 취약 지점을 충분히 드러내지 못한다고 보고, 응답을 바탕으로 시험 사례를 계속 진화시키는 DeepBias를 제안한다. 발표 시점 기준 동료검토 전 arXiv 프리프린트이며, 핵심은 단일 점검이 아니라 반복적 탐침으로 편향의 깊이를 넓혀 가는 데 있다.
DeepBias는 generation-evolution-probing의 순환 구조로 작동한다. 먼저 ProposerAgent가 시험 데이터를 생성하고, 목표 LVLM의 응답을 반영해 Direct Preference Optimization(DPO)으로 갱신되며 취약 패턴을 더 잘 겨냥하도록 맞춰진다. 이어 DiggerAgent가 정제된 기술 라이브러리에서 심화·재작성 전략을 골라 여러 차례 probing을 수행한다. 각 단계는 직전 응답에 조건화되어, 표면적 반응 뒤에 남은 편향을 더 깊게 드러내도록 설계됐다.
연구진은 이 틀로 DeepBiasBench도 구성했다. 출발점은 원래의 BBQ 텍스트 벤치마크를 멀티모달 시드 데이터셋 VLBBQ로 바꾸는 것이며, 여기서 ProposerAgent로 Init., 그리고 두 번의 DPO 적응을 거친 Align 1과 Align 2를 만든 뒤, DiggerAgent로 세 차례 심층 탐침한 Deep 1, Deep 2, Deep 3까지 확장한다. 앵커는 서로 다른 5개 최신 LVLM을 묶어 사용해, 특정 모델 한두 개의 편향이 아니라 아키텍처 전반에 공유되는 취약성을 잡아내려 했다.
실험 결과는 정적 벤치마크보다 더 까다로운 점검이 가능함을 보여준다. 표 II의 모델별 전체 평균에서 DeepBiasBench 정확도는 앵커 모델 29.5~77.8%, 비앵커 모델 12.9~91.1%로 넓게 분포했다. 또 전체 파이프라인에서 DiggerAgent는 평균 35.8퍼센트포인트(pp)만큼 정확도를 낮췄는데, DPO가 없는 경우의 평균 감소폭 20.5pp보다 컸다. Age 범주에서는 DeepSeek-VL2가 Init. 48.8%에서 Align 1 52.5%로 오르기도 했고, Gemma-3-27B-it은 Deep 1 64.9%에서 Deep 2 71.9%로 증가하기도 해, 편향 노출이 선형적으로만 악화되지 않음을 드러냈다.
이 벤치마크는 단순히 데이터만 늘린 결과와도 구별된다. 논문은 데이터 확장만으로는 추가 편향 취약성을 충분히 드러내지 못하는 경우가 있다고 지적하며, 실제로 일부 모델은 파이프라인에서 정확도가 크게 떨어지지 않거나 소폭 상승하기도 했다. 연구진은 한 대상 모델 실험에 약 176 RTX 3090 GPU-hours, 벤치마크 구축에 약 600 RTX 3090 GPU-hours가 들었다고 적었다. 즉 DeepBias는 사회적 편향 평가를 더 깊게 만들었지만, 적용에는 계산 자원과 반복 횟수의 부담이 함께 따른다.
| 구성 요소 | 원문에 적힌 기능 | 근거 위치 |
|---|---|---|
| ProposerAgent | 시험 데이터를 생성하고, 목표 LVLM 응답을 바탕으로 DPO로 반복 갱신됨 | p.4 Fig. (ProposerAgent / DPO Optimization 설명) |
| DiggerAgent | 기술 라이브러리에서 심화·재작성 전략을 선택해 여러 probing 턴을 수행함 | p.4 Fig. (DiggerAgent / Skill library 설명) |
| DiggerAgent 효과 | 전체 파이프라인에서 평균 35.8pp 정확도 감소; DPO 없을 때 평균 감소 20.5pp | p.7 | source_excerpt |
| DeepBiasBench 구축 자원 | 벤치마크 구축에 약 600 RTX 3090 GPU-hours | p.10 | source_excerpt |
자료: STORIUM 정리
결국 이 작업은 LVLM 안전성 평가를 고정 점수표에서 적응형 진단으로 옮겨 놓으려는 시도다. 논문은 DeepBias가 편향 평가를 위한 도전적인 벤치마크를 제공하며, 향후에는 범주 확장과 더 적은 샘플·반복으로 더 정밀한 평가를 하는 방향이 필요하다고 본다. 지금 단계에서 제시된 근거는 v1 프리프린트의 실험 범위에 한정되지만, 응답 기반 다단계 탐침이 사회적 편향을 보는 방식 자체를 바꿀 수 있음을 분명히 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
