자율주행의 안전성 평가는 드물게 일어나지만 치명적인 상호작용에 좌우된다. 그래서 이런 위험 상황, 이른바 코너 케이스를 사실적인 화면으로 일부러 만들어 내는 시뮬레이터가 중요하다. 이를 겨냥해 시각 표현과 장면 추론, 물리 기반 실행을 분리하면서도 서로 긴밀히 연결한 모듈형 합성 틀 CARLA-GS가 제안됐다. 관련 논문은 동료심사 전 arXiv에 공개된 사전공개본으로, 저자는 카이콩 황 등이다.
연구진은 코너 케이스 생성이 본질적으로 여러 요소가 얽힌 문제라고 봤다. 무엇이 보이는지에 해당하는 시각 표현, 어떤 상황이 위험한지 판단하는 장면 추론, 그리고 차량이 어떻게 움직이는지에 해당하는 궤적 생성과 제어가 모두 관여하기 때문이다. 기존의 지식 기반이나 모델 기반 방법은 장면이나 궤적 가운데 한쪽만 따로 다루는 경우가 많았고, 확산 모델 기반의 통합 생성 방식은 시공간적 일관성과 물리적 사실성을 확보하는 데 어려움을 겪었다.
CARLA-GS는 이 요소들을 하나의 틀 안에서 다루되 각 역할을 떼어놓는 방식을 택했다. 우선 실제 주행 데이터에서 출발해, 편집이 가능하고 기하학적으로 일관된 제약을 더한 가우시안 장면을 재구성한다. 이어 여러 에이전트로 구성된 LLM이 장면 수준의 추론을 수행해 위험한 상호작용을 찾아내고 의도 단위의 경로점 궤적을 만든다. 저수준의 실제 움직임 제어는 시뮬레이터 CARLA에 맡기며, 이 안에서 PID 제어기가 운동학적·동역학적으로 실현 가능한 주행을 보장한다.
이렇게 계산된 차량 상태는 다시 가우시안 장면으로 투영돼 운전자 시점의 영상으로 렌더링된다. 고수준의 의미 추론과 실제로 실행 가능한 저수준 움직임, 그리고 사실적인 화면 생성을 하나의 파이프라인 안에서 이룬 셈이다. 연구진은 웨이모 오픈 데이터셋을 이용한 실험에서, 이 틀이 제어 가능한 코너 케이스 생성을 가능하게 하고 의미적 의도에 맞으면서 물리적으로 실현 가능한 움직임을 담은 사실적이고 시공간적으로 일관된 영상을 만들어 냈다고 정성·정량 양면에서 밝혔다. 원문 초록 보기
