동적 인간 움직임에 대한 mmWave 레이더 신호를 정밀하게 흉내 내는 일은 인간 감지 모델을 다듬는 데 유용하지만, 특정 배치 현장에서 정확히 라벨이 붙은 측정값을 모으는 비용이 크다. 이 arXiv에 공개된 첫 원고는 고정된 실내 방 구성을 전제로 사람 메쉬에서 mmWave 신호를 합성하는 HybridSim을 제안한다. 핵심은 전파를 직접 경로와 간접 경로로 분리해 다루는 점이다.
직접 경로는 역렌더링과 미세표면 BRDF를 써서 사람 몸과 정적 방 경계에서 오는 1회 반사 성분을 재구성한다. 사람 표현은 tri-plane으로 특징을 뽑고, 그래프 합성곱망을 붙여 최적화의 불안정성을 줄이도록 설계했다. 간접 경로는 3D Gaussian Splatting과 가상 수신기 기하를 결합해 사람-벽, 바닥-벽, 벽-벽의 다중 반사를 근사하며, 명시적 전면 광선추적보다 계산비용이 낮다고 설명한다.
실험은 mmMesh 데이터셋에서 진행됐다. 이 데이터셋은 TI AWR1843BOOST 상용 mmWave 레이더와 3개 송신(TX), 4개 수신(RX) 안테나로 수집됐다. 평가는 고정 장면에서 두 설정으로 나뉘었다. 학습 중 보지 않은 프레임 20%를 시험하는 intra-subject와, 같은 장면에서 8개 동작 범주를 각각 3,000프레임씩 포함한 보지 않은 사람을 시험하는 cross-subject다.
표 1에서 HybridSim은 두 설정 모두에서 기준선인 RF-Genesis와 mmGPE를 앞섰다. intra-subject에서는 PSNR 22.30, SSIM 0.262, LPIPS 0.089를 기록해 RF-Genesis의 20.03, 0.219, 0.274와 mmGPE의 20.09, 0.221, 0.261보다 높았다. cross-subject에서도 22.29 dB, 0.262, 0.084로 RF-Genesis의 20.02, 0.218, 0.271과 mmGPE의 20.09, 0.220, 0.253보다 나았다. 신호 합성 성능은 하위 과제에서도 이어졌다. 표 2의 인간 활동 인식(HAR)에서는 HybridSim으로 학습한 모델이 정확도 92.07%, F1 0.9216을 보였고, mmGPE는 54.22%와 0.4990, RF-Genesis는 30.68%와 0.2584였다. 본문은 cross-subject PSNR이 20.09에서 22.29로 10.9% 늘어난 반면, HAR 정확도는 54.22%에서 92.07%로 37.85%포인트 상승했다고 적는다.
| 비교/설정 | 지표 | 수치 |
|---|---|---|
| Intra-subject | PSNR / SSIM / LPIPS | HybridSim 22.30 / 0.262 / 0.089; RF-Genesis 20.03 / 0.219 / 0.274; mmGPE 20.09 / 0.221 / 0.261 |
| Cross-subject | PSNR / SSIM / LPIPS | HybridSim 22.29 / 0.262 / 0.084; RF-Genesis 20.02 / 0.218 / 0.271; mmGPE 20.09 / 0.220 / 0.253 |
| HAR, simulator source=HybridSim | Accuracy / F1 | 92.07% / 0.9216; RF-Genesis 30.68% / 0.2584; mmGPE 54.22% / 0.4990 |
| Noise injection ablation | Accuracy / F1 | w/o noise 72.79% / 0.6790; w. fixed noise 90.51% / 0.9068; w. learnable noise 92.07% / 0.9216 |
자료: STORIUM 정리
절제 실험도 같은 방향을 가리킨다. 표 3에서 결합형 3DGS만 쓰는 변형은 정확도 85.61%, F1 0.8492였고, 직접·간접 경로를 분리한 전체 모델은 92.07%, 0.9216이었다. 표 4에서는 노이즈를 넣지 않으면 72.79%와 0.6790에 그쳤고, 고정 노이즈는 90.51%와 0.9068, 학습 가능한 노이즈는 92.07%와 0.9216으로 올라갔다. 간접 경로를 전통적 방식으로 바꾼 비교에서는 프레임당 3.44초가 걸린 반면 제안법은 1초 미만이었다. 이 결과는 고정 실내에서 site-specific 데이터 증강을 위한 하이브리드 디지털 트윈이 물리 기반 기준과의 정합성을 높이면서도 다운스트림 작업에 실용성을 가질 수 있음을 보여준다.
저작권자 © STORIUM 무단전재 및 재배포 금지
