KAIST 전기및전자공학부 노용만 교수 연구팀이 열화상·깊이 영상·엑스레이 등 서로 다른 센서의 의미를 구분하고 시각과 청각의 감각 혼선을 줄이는 멀티모달 대형 언어모델 기술을 개발했다. KAIST가 7월 31일 공개한 성과는 센서 이해를 돕는 DNA 최적화 기법과 감각 혼선을 막는 MAD 디코딩 기법으로 구성된다. 자율주행차와 구조 로봇, 의료 영상처럼 여러 감각 정보의 신뢰성이 안전과 직결되는 현장에 적용할 기반을 마련한 것이 핵심이다.
DNA는 열화상의 밝은 영역을 일반 사진의 빛으로 오해하는 식의 오류를 줄이는 데 초점을 맞춘다. 연구팀은 인공지능이 자주 틀리는 사례를 반복 학습시켜 열과 거리처럼 센서가 측정한 물리 정보를 이해하도록 했다. 적은 데이터로 여러 센서에 대한 이해를 높이는 방식이어서 어둠이나 연기가 낀 환경에서도 사물을 더 정확히 인식하도록 설계됐다. MAD는 자동차가 보이지만 소리가 녹음되지 않은 영상에서 엔진 소리가 들린다고 답하는 식의 교차 감각 환각을 겨냥한다. 질문이 영상과 소리 가운데 어느 정보를 요구하는지 먼저 가려낸 뒤 필요한 감각에 집중하며, 기존 모델을 처음부터 다시 학습하지 않고 적용할 수 있다.
| 구분 | 다루는 문제 | 적용 방식 | 현장 활용 후보 |
|---|---|---|---|
| DNA | 센서의 물리적 의미 오해 | 적은 데이터로 오류 사례 반복 학습 | 열화상·깊이 영상·엑스레이 분석 |
| MAD | 시각·청각 사이 감각 혼선 | 질문별 핵심 감각을 구분해 디코딩 | 자율주행·로봇·영상 감시 |
두 기술은 대규모 재학습에 따르는 시간과 컴퓨팅 비용을 줄이면서 기존 멀티모달 인공지능의 신뢰성을 높이는 선택지를 제시한다. 활용 후보는 밤이나 안개 속 보행자와 차량을 식별해야 하는 자율주행, 연기 속 생존자를 찾는 구조 로봇, 열화상 카메라를 사용하는 드론이다. 공항의 엑스레이 보안검색과 병원의 컴퓨터단층촬영·자기공명영상·엑스레이 통합 분석도 적용 가능 분야로 제시됐다. 다만 이번 발표는 활용 가능성을 설명한 연구 성과이며 특정 차량이나 의료 시스템에 상용 배치됐다는 발표는 아니다.
정상윤 박사과정은 두 연구의 제1저자로 참여했고 유영준 박사는 DNA 연구의 공동 제1저자를 맡았다. MAD 연구는 지난 6월 국제 컴퓨터 비전 및 패턴인식 학술대회에서 발표됐고, DNA 연구는 국제전기전자공학회 영상처리 학술지에 게재됐다. 연구는 정보통신기획평가원의 사람중심인공지능 핵심원천기술 개발사업과 국방과학연구소 인공지능 특화연구센터 과제 등의 지원을 받았다. 실제 산업 도입 단계에서는 센서 종류와 현장 조건이 달라져도 감각 구분 성능이 유지되는지 검증하는 일이 다음 과제로 남는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
