아주대학교 소프트웨어학과 조현석 교수와 홍소연·김진찬·유재국 학생이 2026년 7월 6일부터 11일까지 서울 코엑스에서 열린 ICML 2026에서 TextME 연구를 발표했다. 논문 저자는 홍소연, 김진찬, 유재국, 최승택, 곽수하, 조현석 등 6명이다. TextME는 새로운 데이터 유형을 기존 인공지능 표현 공간에 추가할 때 대규모 짝 데이터를 다시 모으는 대신, 텍스트 설명으로 투영기를 학습하는 연구 프레임워크다.
논문은 이미지·비디오·오디오·3차원 포인트클라우드·X선 영상·분자 등 6개 모달리티에서 방법을 검증했다. 연구진은 사전 학습된 대조학습 인코더의 모달리티 간 간격과 기하 구조를 이용해 각 데이터의 표현을 LLM(대규모 언어 모델) 임베딩 공간에 연결했다. 학습 과정에서 서로 직접 짝지어 정렬하지 않은 데이터 사이에서도 검색이 나타났으며, 논문은 오디오에서 3차원 데이터로, 분자에서 이미지로 정보를 찾은 사례를 제시했다. 다만 이는 실제 서비스 이용자가 체감할 비용 절감률을 확정한 결과가 아니라 연구 환경의 검색·분류 실험 결과다.
| 검증 항목 | 논문에서 확인된 범위 |
|---|---|
| 대상 모달리티 | 이미지·비디오·오디오·3차원 포인트클라우드·X선 영상·분자 등 6개다. |
| 학습 입력 | 짝지어진 멀티모달 감독 데이터 대신 텍스트 설명을 사용한다. |
| 관찰된 기능 | 학습 중 직접 정렬하지 않은 모달리티 사이의 검색이다. |
| 확인되지 않은 범위 | 상용 서비스 가격, 의료 현장 안전성, 규제 준수와 운영 비용이다. |
이 접근은 의료영상이나 분자 분석처럼 전문가 주석이 비싸거나 개인정보 제약 때문에 짝 데이터를 충분히 만들기 어려운 분야에 의미가 있다. 새 모달리티마다 이미지와 설명, 오디오와 설명 같은 대규모 쌍을 구축하지 않아도 기존 인코더와 텍스트 설명을 활용할 수 있기 때문이다. 하나의 공통 표현 공간에서 서로 다른 형식의 자료를 찾는 기능은 멀티모달 검색의 확장 가능성도 보여준다. 반면 논문이 공개한 것은 상용 제품이나 도입 가격이 아니며, 의료 현장의 안전성·규제 준수·운영 비용을 검증한 것도 아니다.
TextME의 성능은 출발점으로 쓰는 사전 학습 인코더의 구조와 모달리티 간 간격이 얼마나 일관적인지에 좌우된다. 논문도 모든 데이터 유형에서 동일한 수준의 성능을 보장하지 않고, 인코더 특성이 텍스트만을 이용한 확장 효과를 예측하는 단서라고 설명했다. 따라서 데이터 수집 부담을 줄일 가능성은 확인됐지만, 새 분야에 적용할 때는 해당 인코더와 데이터로 검색·분류 성능을 다시 측정해야 한다. 연구 결과와 코드는 공개됐으나 실제 서비스 적용 범위와 비용은 후속 검증 과제로 남아 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
