로봇 보조 최소침습수술에서 내시경 인식은 주행과 안전에 중요하지만, 일반 내시경은 시야가 좁아 주변 해부 구조의 많은 부분을 담지 못한다. 이 프리프린트는 이런 관측 공백에서 생기는 외삽 왜곡을 줄이기 위해 ExtraGS를 제안한다.
분석에서는 초기 3D Gaussian Splatting 재구성 위에 불확실성 유도 가상 카메라 샘플링을 더해, 덜 관측된 영역을 찾고 그 위치에서 얻은 렌더링을 확산 모델로 보정한다. 이렇게 만든 pseudo-observation은 다시 3DGS 최적화에 쓰이지만, 신뢰할 수 있는 실제 관측이 손상되지 않도록 confidence-weighted fine-tuning을 함께 적용한다. 원문은 2D diffusion prior와, 구현에서 video diffusion backbone으로 DynamiCrafter를 사용했다고 적고 있다.
실험은 C3VDv2 공개 대장내시경 데이터셋에서 진행했다. 비교군은 3DGS, UC-NeRF, GaussianPancakes였고, 평가지표는 PSNR, SSIM, LPIPS였다. 분석에서는 sparse cecum t1과 distanced ascending t2의 두 조건에서 평가했으며, 비교 방법의 원래 프로토콜을 가능한 한 그대로 따랐다고 밝혔다.
정량 결과에서 sparse cecum t1의 ExtraGS는 PSNR 20.23 dB, SSIM 0.769, LPIPS 0.483을 기록했다. 같은 조건에서 3DGS는 18.74 dB / 0.673 / 0.457, GaussianPancakes는 18.48 dB / 0.699 / 0.503, UCNeRF는 19.22 dB / 0.541 / 0.244였다. distanced ascending t2에서는 ExtraGS가 SSIM 0.857로 가장 높았고, PSNR은 18.75 dB, LPIPS는 0.443이었다. 이 조건에서 3DGS는 18.66 dB / 0.816 / 0.431, GaussianPancakes는 10.39 dB / 0.575 / 0.625, UCNeRF는 20.15 dB / 0.797 / 0.214였다.
소거 실험은 C3VD cecum T1에서 수행했다. 전체 모델 ExtraGS는 PSNR 20.38 dB, SSIM 0.770, LPIPS 0.482를 냈고, illumination 및 fold-aware 구성요소를 뺀 변형은 20.23 dB, 0.769, 0.483이었다. 원문은 이 차이가 조명 변화와 복잡한 주름 구조를 반영하는 설계가 도움이 된다는 점을 시사한다고 해석한다.
| 조건 | ExtraGS 성능 | 가장 가까운 비교군 |
|---|---|---|
| Sparse: Cecum t1 | PSNR 20.23 dB / SSIM 0.769 / LPIPS 0.483 | UCNeRF: PSNR 19.22 dB / SSIM 0.541 / LPIPS 0.244 |
| Distanced: Ascending t2 | PSNR 18.75 dB / SSIM 0.857 / LPIPS 0.443 | UCNeRF: PSNR 20.15 dB / SSIM 0.797 / LPIPS 0.214 |
| Ablation: w/o Illum & Fold aware, cecum T1 | PSNR 20.23 / SSIM 0.769 / LPIPS 0.483 | Full ExtraGS: PSNR 20.38 / SSIM 0.770 / LPIPS 0.482 |
자료: STORIUM 정리
결론에서 분석에서는 ExtraGS가 희소한 관측만으로도 보이지 않던 영역의 구조를 더 그럴듯하게 복원해, endoscopic novel view synthesis의 외삽 실패를 줄일 가능성을 보였다고 정리했다. 평가 범위에서는 평가는 정적 장면과 오프라인 공개 데이터셋에 한정됐고, 실제 수술의 동적 조직 변형, 조명 변화, 기구 가림, 포즈 오차, 실시간성은 다루지 못했다고 분명히 밝혔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
