자율주행 시스템 검증에서는 서로 다른 규정에 맞는 시험 시나리오를 얼마나 다양하게 만들 수 있는지가 핵심으로 꼽힌다. 이번 arXiv 프리프린트는 시뮬레이션 기반 테스트에서 시나리오가 실행 가능한 스크립트로 정의된다는 점에 주목해, 규정 서술을 DSL 스크립트로 자동 생성하는 문제를 다뤘다.
제안된 Chat2Scenic는 대화형 인터페이스와 검색증강생성(RAG)을 결합한 반복형 프레임워크다. 사용자가 시나리오를 고치고 다듬는 과정에 맞춰 생성을 이어가며, 규정 지식과 DSL 문법을 함께 참조하도록 설계했다. 단일 단계의 전체 스크립트 생성이 아니라 구성요소를 단계적으로 채우는 방식이라는 점이 특징이다.
연구진은 규정 기반 벤치마크도 함께 마련했다. 총 123개 시나리오로 구성됐고, CARLA Leaderboard 24개, NHTSA 충돌·충돌 직전 데이터 47개, United Nations Vehicle Regulations의 UN R152·R157·R171 등 52개가 포함됐다. 이 벤치마크는 실제 검증에 필요한 규정 준수 시나리오를 폭넓게 담으려는 목적이다.
평가에서는 Gemini-3-Flash를 포함한 여러 SOTA LLM을 사용했다. 표 III에서 Chat2Scenic는 컴파일 성공률(CSR) 76.42%, 프레임워크 정확도(FA) 58.17%를 기록했다. 이는 Retrieval Assemble의 CSR 30.08%, FA 11.03%, Retrieval full script generation의 CSR 16.26%, FA 10.86%보다 높았다. 같은 표에서 실행 시간(RT)은 222.11초, 토큰 수는 52,339로 제시됐다.
표 IV의 모델 비교에서도 같은 수치가 확인된다. Gemini-3-Flash는 제안 벤치마크에서 CSR 76.42%, RT 222.11초, FA 58.17%를 보였고, Open-Source Models와 Proprietary Models의 여러 변형은 더 낮은 CSR을 기록했다. 한편 표에 있는 각 모델의 추가 세부 값은 해당 항목별로만 제시돼 있어, 이 기사에서는 원문에 명시된 수치만 정리했다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 벤치마크 규모 | 123개 시나리오 | p.1 / p.5 |
| 출처 구성 | CARLA Leaderboard 24개, NHTSA 47개, UN Vehicle Regulations 52개 | p.5 |
| Chat2Scenic 성능 | CSR 76.42%, FA 58.17% | p.1 / p.7 / p.8 |
| 비교군 성능 | Retrieval Assemble 30.08% CSR, 11.03% FA; Retrieval full script generation 16.26% CSR, 10.86% FA | p.1 / p.7 |
자료: STORIUM 정리
논문 말미에서는 이 작업이 향후 멀티모달 입력과 simulation-in-the-loop 피드백으로 확장될 수 있다고 적었다. 코드와 함께 공개된 상태이며, 현재는 동료검토 전 arXiv에 공개된 첫 원고다.
저작권자 © STORIUM 무단전재 및 재배포 금지
