[태그:] 멀티모달

VLM(비전-언어 모델)의 환각 문제를 완화하기 위해 증거 기반 추론과 단계별 인용 검증을 결합한 CaVe-VLM-CoT 프레임워크가 제안됐다. ScienceQA에서 87.1% 정확도를 기록했다.

이미지를 고정 입력이 아닌 능동적 추론 대상으로 삼아 멀티홉 시각 검색을 수행하는 에이전트 모델 Visual-Seeker가 arXiv에 공개됐다.

시계열 유사도만으로는 부족한 비정상성 환경의 검색 문제를 해결하기 위해 수치 데이터와 텍스트 설명을 동시에 활용하는 이중 검색 프레임워크 SERAF가 제안됐다.

통합 멀티모달 모델이 텍스트와 이미지를 교차 생성할 때 발생하는 '모달 고립' 현상을 단계별 강화학습으로 해결하는 MoTiF 프레임워크가 제안됐다.

생성형 대규모 멀티모달 모델의 리스트와이즈 랭킹에서 후보를 누락하는 '파스 붕괴' 문제를 해결하는 PRISMR 프레임워크가 발표됐다.

InterleaveThinker는 플래너·비평 에이전트 두 개를 활용해 기존 이미지 생성기에 텍스트-이미지 교차 생성 기능을 추가하는 다중 에이전트 파이프라인이다.

MLLM의 의료 추론 한계를 극복하기 위해 인도 7개 언어를 지원하는 멀티모달 의료 QA 데이터셋 ArogyaBodha와 다중 에이전트 프레임워크 ArogyaSutra가 공개됐다.

IterCAD는 멀티모달 에이전트와 실행 가능한 CAD 샌드박스의 폐루프 상호작용으로 기존 단발성 자동화 방식의 한계를 극복했다.

영상 이해 AI 기업 트웰브랩스가 GS샵 숏폼 커머스 서비스 '숏픽'에 자사 모델을 공급해 주문 고객이 57.5% 증가하는 성과를 냈다.

NVIDIA가 텍스트·이미지·영상·음성을 단일 루프에서 처리하는 멀티모달 오픈 모델 네모트론 3 나노 옴니를 출시했다.

자원 제약 환경에서 멀티모달 질의응답(QA) 시스템의 토큰 소비를 획기적으로 줄이는 잠재 메모리(Latent Memory) 기법이 제안됐다. 연구팀은 기존 검색 증강 생성(RAG) ...

이미지로 학습된 대형 교사 모델이 텍스트나 오디오 기반 소형 학생 모델을 가르치는 교차 모달 지식 증류(CMKD) 분야에서, 쌍으로 구성된 멀티모달 ...