멀티모달 대규모 언어 모델(MLLM·Multi-modal Large Language Model)이 시각 입력을 처리하는 비전 인코더(vision encoder)를 통해 적대적 공격(adversarial attack)에 크게 취약하다는 사실을 체계적으로 분석하고 방어 전략을 제시한 연구가 arXiv 논문(2606.03713)으로 공개됐다. 연구팀은 CLIP 계열 인코더를 활용하는 MLLM이 이미지에 미세한 노이즈를 추가하는 시각 적대적 섭동(perturbation)에 의해 오출력을 유발할 수 있다는 점에 주목했다.
연구팀은 우선 CLIP 정렬 진단 프로토콜을 개발해 강건한 비전 인코더를 전체 MLLM 훈련 전에 미리 식별할 수 있도록 했다. 이어 강건한 인코더를 MLLM에 통합하는 다양한 방식을 비교한 결과, 단순히 강건한 인코더를 교체·연결(plug-and-play)하는 방식보다 멀티모달 전체를 처음부터 적대적 학습(end-to-end adversarial training)으로 훈련하는 방식이 훨씬 효과적이었다. 이 방식으로 훈련된 모델은 제약이 있는 교체 기반 기준선 대비 이미지 캡셔닝에서 평균 28 CIDEr 포인트, VQA(시각 질의응답) 정확도에서 11.7%포인트 향상을 달성했다. 또한 강건한 기반 모델(backbone)에서 추가 적대적 훈련을 진행하면 캡셔닝에서 1.9 CIDEr, VQA에서 4.3%포인트의 추가 성능 향상이 있었다.
연구팀은 테스트 시점의 방어 방법도 검토했다. 가벼운 시각적 확률적 변환(stochastic transformation)을 테스트 시점에 적용하는 것만으로도 강건하지 않은 MLLM의 적대적 성능을 거의 0에 가까운 수준에서 강건한 모델과 비슷한 수준으로 끌어올릴 수 있었다. 한편 강건하게 훈련된 모델은 시각적 탈옥(jailbreak) 공격에서 독성 콘텐츠 생성도 크게 줄이는 것으로 나타나, 안전성 측면에서도 의미 있는 결과를 보였다. 연구팀은 코드와 사전 훈련 가중치를 공개할 예정이라고 밝혔다. 이미지·텍스트를 함께 처리하는 MLLM이 점점 더 광범위하게 배포됨에 따라 이 연구의 실무적 중요성이 높아질 것으로 전망된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
