상하이인공지능연구소와 저장대 등 연구진이 지도 문서에 특화한 시각 추론 벤치마크 ‘OmniMapBench’를 공개했다. 기존 문서 질의응답은 이미지가 표나 OCR 텍스트로 바뀌어도 풀리는 경우가 많다는 문제의식에서 출발했다. 새 벤치마크는 지도 안의 공간 관계, 기호, 색, 경로를 함께 읽어야 답할 수 있는 과제를 모았다.
데이터는 교통, 실내 길찾기, 지형·원격탐사, 관광 등 9개 범주의 지도 이미지 1,603장과 수작업 질의응답 2,096개로 구성됐다. 초기 3,386개 문항을 2,882개로 추린 뒤, 작성에 참여하지 않은 두 검수팀이 명료성·정답·난도 분류를 교차 확인해 최종 문항을 남겼다. 문항은 단일선택 69.70%, 다중선택 12.83%, 순서배열 17.46%다.
난도는 지각 21.04%, 단일 단계 공간추론 38.26%, 다단계 추론 40.70%로 나뉜다. 언어는 영어 60.78%, 중국어 39.22%다. 연구진은 이미지를 질문과 무관하게 작성한 설명문으로 교체했을 때 정확도가 얼마나 떨어지는지 재는 ‘시각 의존도 지수’도 제안했다. GPT-4.1을 고정 평가자로 쓰고 설명 길이를 64~1,024토큰으로 바꿨다.
1,024토큰 조건에서 OmniMapBench의 시각 의존도 지수는 0.338로 비교한 10개 기존 벤치마크보다 높았다. 25개 시각언어모델을 정확 일치 방식으로 평가한 결과 Gemini 3.1 Pro가 75.03%로 가장 높았고, 오픈 모델 중에는 Qwen3.5-397B-A17B가 72.22%를 기록했다. 이미지 없이 질문과 선택지만 준 세 모델의 평균 정확도는 58.87%에서 23.35%로 내려갔다.
| 항목 | 논문 보고값 |
|---|---|
| 지도 문서·질의응답 | 1,603개·2,096문항 |
| 평가 모델 | 25개 LVLM |
| 최고 전체 모델 | Gemini 3.1 Pro 75.03% |
| 최고 오픈 모델 | Qwen3.5-397B-A17B 72.22% |
| 최고 모델 다단계 추론 | 62.88% |
최고 모델도 지각 88.24%, 단일 단계 81.53%에서 다단계 추론 62.88%로 성능이 낮아졌다. 다만 이 수치는 연구진이 고른 지도와 프롬프트, 정확 일치 채점에 한정된 벤치마크 결과다. 시각 의존도 역시 GPT-4.1의 설명 능력과 토큰 예산에 영향을 받는다. 논문은 2026년 7월 공개된 arXiv 사전논문으로, 동료평가와 독립 재현 여부는 아직 확인되지 않았다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
