UNIST 인공지능대학원 윤성환 교수팀이 이미지·소리·텍스트를 함께 배우는 멀티모달 AI가 단일 종류의 데이터만 학습한 모델보다 더 정확하고 안정적인 이유를 수학적으로 설명했다. 연구팀은 딥러닝 학습 중 오차와 내부 설정값의 관계를 산과 골짜기로 표현한 ‘손실 지형’에 주목했다. 여러 모달리티를 함께 쓰면 이 지형이 평탄해져 처음 보는 데이터에도 성능을 유지하는 강건성이 높아진다는 결론이다.
평탄화의 원리는 ‘합성곱 스무딩 효과’로 제시됐다. 한 종류의 데이터에서 나타나는 뾰족한 오차 변화가 다른 모달리티의 정보와 결합하면서 평균을 내듯 완화된다는 설명이다. 손실 지형이 넓고 완만할수록 학습 자료에 없던 입력이 들어왔을 때도 모델의 출력이 급격히 흔들리지 않는다. 경험적으로 알려진 멀티모달 학습의 이점을 실제 학습 과정과 연결한 이론적 근거라는 데 의미가 있다.
연구팀은 이 증명을 활용해 분포 기반 멀티모달 학습, DML도 제안했다. 기존 방식이 이미지 하나와 정확히 대응하는 음성이나 문장 하나를 고정된 쌍으로 묶는다면, DML은 같은 정답 범주 안에서 서로 다른 모달리티 자료를 무작위로 다시 짝짓는다. 학습 조합을 늘려 손실 지형의 평탄화 효과를 더 크게 만드는 단순한 샘플링 전략이다.
여러 멀티모달 실험 데이터셋에서 DML은 고정된 데이터 쌍을 학습하는 방식보다 분류 정확도가 높았다. 사진에 맞는 설명문을 찾거나 설명문에 맞는 사진을 찾는 검색 실험에서도 더 많은 정답을 맞혔다. 다만 UNIST 발표문은 개별 데이터셋별 수치나 비교표를 제시하지 않아, 이 기사에서는 우위의 방향만 전달한다. 성능 차이의 크기와 재현 조건은 ICML 2026 발표 논문에서 확인해야 한다.
제1저자는 이재준 연구원이며 연구 결과는 2026년 8월 6일부터 서울에서 열리는 국제 머신러닝 학회 ICML 2026에서 발표될 예정이다. 연구진은 이 원리가 데이터를 효율적으로 쓰면서 외부 노이즈와 교란에도 안정적인 AI를 설계하는 기반이 될 수 있다고 봤다. 핵심은 모달리티 수를 단순히 늘리는 데 그치지 않고, 서로 다른 신호가 오차 지형을 어떻게 완화하는지 설계 단계에서 활용하는 데 있다.
| 항목 | 공식 발표에서 확인된 내용 |
|---|---|
| 연구진 | UNIST 인공지능대학원 윤성환 교수팀, 제1저자 이재준 연구원 |
| 핵심 원리 | 멀티모달 결합에 따른 손실 지형 평탄화와 합성곱 스무딩 효과 |
| 제안 기법 | 분포 기반 멀티모달 학습(DML): 같은 정답 범주 안에서 무작위 재짝짓기 |
| 검증 범위 | 분류와 이미지·텍스트 상호 검색 실험에서 기존 고정 쌍 방식보다 향상 |
| 발표 | ICML 2026, 서울, 2026년 8월 6일 개막 |
자료: STORIUM 정리
저작권자 © STORIUM 무단전재 및 재배포 금지
