멀티모달 LLM에서 청각·시각 신호가 흐르는 내부 경로 첫 체계 분석
청각과 시각 입력을 동시에 처리하는 AVLLM(오디오-비주얼 대규모 언어 모델)이 두 감각 신호를 내부적으로 어떻게 처리하고 통합하는지를 처음으로 체계적으로 추적한 연구가 ...
[태그:] 오디오비주얼
SAM-Audio 활용해 오디오-비주얼 점진적 학습의 망각 문제 해결
새로운 클래스를 계속 학습하면서도 이전 지식을 잊지 않는 '클래스 점진적 학습(CIL)'의 오디오-비주얼 모달리티 적용 연구가 발표됐다. 연구팀은 멀티모달 기반 모델인 ...
