디디(DiDi) 연구진이 대규모 언어 모델(LLM) 에이전트를 활용해 라이드헤일링(ride-hailing·차량 호출 서비스) 배차 시스템의 사용자 프로파일링을 고도화한 연구를 발표했다. 논문명은 ‘ProfiLLM’으로, LLM을 시맨틱 특성 추출기로 활용해 플랫폼 규모의 행동 로그에서 이용자 프로파일을 생성하고 이를 실시간 배차 매칭에 활용하는 방식이다. 기존 배차 파이프라인은 구조화된 수치 특성에 의존해왔으나, 드라이버의 특정 지역 기피 성향처럼 맥락에 의존하는 행동 패턴은 LLM이 생성한 프로파일로 더 잘 포착할 수 있다는 점이 연구의 출발점이다.
ProfiLLM은 두 가지 핵심 모듈로 구성된다. 첫 번째는 ‘도구 강화 글로벌 지식 마이닝’으로, LLM 에이전트가 27개 분석 도구를 활용해 플랫폼 전체 데이터에서 재사용 가능한 글로벌 지식과 지역별 공급-수요 사전 정보를 추출한다. 두 번째는 ‘유틸리티 정렬 프로파일 탐색’으로, 클러스터별로 여러 후보 프로파일을 생성한 뒤 경량 유틸리티 프록시로 평가하고 최적 후보를 반복 개선한다. 플랫폼의 일일 주문 수가 수백만 건에 달해 단일 이용자 프로파일링이 불가능한 규모 문제와, 상호작용이 적은 롱테일 이용자 문제, 표면적으로 그럴듯하지만 실제 예측력이 없는 프로파일 문제 등 세 가지 난제를 함께 해결하도록 설계됐다.
디디의 실제 배차 시스템에 배포한 결과, 결과 예측 AUC가 최대 6.14% 향상됐고 배차 시뮬레이션에서 GMV(총 거래액)가 최대 4.35% 증가했다. 14일간 진행한 온라인 A/B 테스트에서는 GMV 0.47% 증가, 완료율(Completion Rate) 0.33% 향상, 수락 전 취소율(Cancel-Before-Accept rate) 0.82% 감소가 확인됐다. 이는 LLM 기반 프로파일링이 밀리초 단위 응답이 요구되는 실시간 산업 배차 시스템에서 실제 사업 지표를 개선할 수 있음을 보여주는 실증 사례다.
이번 연구는 LLM이 채팅봇이나 문서 요약을 넘어 대규모 실시간 의사결정 시스템의 데이터 파이프라인으로도 유효하게 적용될 수 있음을 보여준다. 특히 컨텍스트 창 크기의 수천 배를 초과하는 플랫폼 규모 로그 데이터를 처리하는 구조적 해법을 제시했다는 점에서 산업 AI 적용 사례로 주목받고 있다.
