수술실은 장비와 인력이 촘촘히 얽혀 있어 로봇 팔에 붙인 표식이 가려지기 쉽다. 이 논문은 그 취약점을 줄이기 위해, CAD 모델과 스테레오 영상의 실루엣을 맞추는 미분가능 렌더링 방식으로 수술 로봇의 자세를 마커 없이 실시간 추적하는 방법을 다뤘다. 동적 움직임까지 포함한 온라인 상황에서의 검증이 핵심이며, 연구 단계는 arXiv 프리프린트다.
기존 roboreg 프레임워크를 바탕으로 두 가지를 더했다. 하나는 이전 프레임의 추정값을 다음 프레임 초기값으로 넘기는 순차 최적화이며, 움직임 양상에 따라 학습률과 모멘텀을 조정한다. 다른 하나는 세그멘테이션과 최적화를 CUDA 스트림으로 겹쳐 돌리고, 세그멘테이션은 CUDA graph로 가속하는 구조다. 이렇게 해 병목이던 반복 최적화 비용을 줄이면서도 프레임 간 연속성을 유지하도록 설계했다.
평가는 공개 동적 데이터가 부족해 새로 만든 벤치마크에서 수행됐다. KUKA LBR Med 7 플랫폼을 이동식 베이스에 올려 19개 변위 시퀀스를 수집했고, 전후 역재생을 포함하면 38개 시퀀스가 된다. 그중 38개는 로봇이 가려지지 않은 경우, 5개는 작업자와 장비가 일부 가린 경우였으며, 각 시퀀스는 시작과 끝에서의 정적 정합과 중간 구간의 AprilTag 기반 동적 참조로 평가됐다. 비교 대상은 동일 데이터셋에서 동작한 FoundationPose였다.
계산 효율에서는 1080p 영상 기준 30 fps에 도달해, 기존 vanilla roboreg의 14 fps보다 빨라졌다. 본문에서는 전체 19개 시퀀스에서 34.0 FPS, 순차 처리 17.2 FPS 대비 1.97배 향상을 보고한다. 세그멘테이션 지연은 33.3 ms, 최적화는 259.9 iter/s였고, ZED 2i 카메라의 30 FPS 속도도 따라잡았다. 추론은 Ubuntu 24.04와 AMD Ryzen 9 5900X, NVIDIA RTX 5090 환경에서 수행됐다.
정확도는 정적 기준과 동적 기준 모두에서 확인됐다. 정적 종단점 비교에서는 결합 평균 오차가 1.76±0.70 cm, 회전 오차가 0.61±0.23 deg였고, 전진·후진 경로는 각각 1.84±0.68 cm와 1.68±0.70 cm였다. 동적 평가에서는 27,460프레임 평균 3D 오차가 1.24 cm였고, 가려진 1,242프레임에서는 1.53 cm였다. 같은 조건의 FoundationPose는 동적 추정에서 11% 낮았고, 가림 데이터셋에서는 63% 차이를 보였으며, 추론 속도는 6배 빨랐다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 평가 데이터 | 19개 변위 시퀀스(전후 역재생 포함 38개), 무가림 38개·가림 5개 | Experiment and results / Benchmarking data collection |
| 실시간 성능 | 1080p에서 30 fps, 전체 19개 시퀀스에서 34.0 FPS; 순차 처리 17.2 FPS 대비 1.97× | Inference efficiency analysis |
| 정적 정확도 | 결합 평균 번역 오차 1.76±0.70 cm, 회전 오차 0.61±0.23 deg | Table 1 / Pose estimation evaluation against static calibrations |
| 동적 정확도 | 27,460프레임 평균 3D 오차 1.24 cm; 가림 1,242프레임에서 1.53 cm | Table 2 / Motion pose estimation against marker-based approach |
자료: STORIUM 정리
가림 환경에서는 성능 저하가 남았다. 경미한 가림에서는 평균 3D 오차가 각각 1.78 cm와 1.35 cm였고, 5.25%와 0.81%의 프레임이 5 cm를 넘었다. 심한 가림에서는 평균 오차가 4.31 cm까지 커졌다고 논문은 적었다. 세그멘테이션 품질이 자세 추정에 직접 영향을 주고, 초기 카메라 자세를 알고 있어야 한다는 전제도 남아 있다. 그럼에도 이 연구는 고해상도 스테레오 렌더링이 수술 로봇의 온라인 추적에서 마커 기반 접근에 근접한 정밀도를 내면서도 실시간성까지 확보할 수 있음을 보였다고 정리한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
