밴더빌트대 연구진이 의료 훈련 행동 인식에서 모달리티를 한꺼번에 결합하지 않고 단계적으로 붙이는 LoRA 기반 융합 구조를 시험했다. 골격과 영상처럼 가까운 신호를 먼저 합친 뒤 텍스트나 위치 센서를 추가하며, 앞 단계 모델은 유지하고 저랭크 어댑터만 조정하는 방식이다.
NurViD에서는 ST-GCN 계열 골격 특징, TimeSformer RGB 특징, 음성을 전사한 BERT 텍스트를 사용했다. 자료는 144시간의 비디오 1538개를 5608개 클립으로 나누고 177개 행동 단계를 분류한다. Nurse Training은 전문 간호사 8명이 6개 활동을 수행한 240개 시퀀스로, 골격·스마트폰 가속도·Meditag 위치를 결합했다.
Nurse Training에서 단일 골격 정확도는 0.71, 가속도 0.38, 위치 0.30이었다. 골격과 가속도를 합친 1단계는 75.86%로 기존 MNT 75.8%와 비슷했고, 위치까지 넣은 2단계는 79.31%였다.
약한 단일 센서도 강한 골격 표현 뒤에 추가할 때 보완 정보가 됐다. 원고는 arXiv:2607.11839에 공개된 동료검토 전 5쪽 초안이다.
NurViD의 단일 정확도는 골격 11.25%, RGB 37.37%, 텍스트 38.11%였다. 골격과 영상을 합친 1단계가 61.70%, 세 모달리티 융합이 83.02%로 보고됐다. 다만 기존 SlowFast·C3D·I3D의 약 14.8%와는 입력 모달리티와 평가 조건이 달라, 83.02%를 동일 조건의 직접 우위로 해석하기 어렵다.
| 데이터셋 | 강한 단일 모달리티 | 1단계 융합 | 2단계 융합 |
|---|---|---|---|
| Nurse Training | 골격 71% | 골격+가속도 75.86% | 위치 추가 79.31% |
| NurViD | 텍스트 38.11% | 골격+RGB 61.70% | 텍스트 추가 83.02% |
논문 자체가 결과를 예비적이라고 규정하며 LoRA 제거, 융합 순서, 계산량에 대한 충분한 절제 실험이 없다. 5쪽 초안에는 학회 자리표시자와 연도 불일치도 남아 있어 재현성과 비교 공정성을 추가 확인해야 한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
