아마존웹서비스(AWS)의 생성형 AI 이노베이션 센터(GenAIIC)와 항공 영상 기업 Vexcel이 수억 장의 고해상도 항공사진을 자연어로 검색하는 멀티모달 AI 파이프라인을 구축하고 그 결과를 공개했다. Vexcel은 전용 항공대를 운영하며 45개국 이상에서 정사영상·경사 사진·수치표면모델(DSM)·수치지형모델(DTM) 등을 수집하는 기업으로, 이 방대한 영상 라이브러리를 훈련 데이터 없이 자연어 질의로 검색하는 것이 이번 프로젝트의 목표였다. 결과물은 현재 미리보기 중인 Vexcel Intelligence 제품으로 이어졌다.
시스템은 Amazon Bedrock에서 제공하는 임베딩 모델 3종(Amazon Nova Multimodal Embeddings, Amazon Titan Multimodal Embeddings G1, Cohere Embed v4)과 Amazon OpenSearch Serverless를 사용해 약 100가지 설정 조합을 평가했다. 시카고 그랜트 파크를 테스트 지역으로 설정하고 ‘수영장’과 ‘도로’ 두 가지 기준 질의로 정밀도(Precision)·재현율(Recall)·F1 점수를 측정했다. Amazon Nova Multimodal Embeddings는 수영장 질의에서 평균 F1 0.621, 도로 질의에서 0.555를 기록하며 두 항목 모두에서 가장 높은 성능을 보였다. Amazon Titan은 수영장 F1이 0.340에 그쳐 일부 설정에서 0에 가까운 점수를 냈다. 한 지점을 정사영상·동서남북 경사 4방향·DSM·DTM의 7개 시각으로 표현하는 구조에서는 고도 데이터(DSM·DTM)가 수영장·도로 탐지 정확도를 높이지 못했으며, 비용 절감을 위해 5개 뷰(정사+경사 4방향)만 사용해도 충분했다.
가장 효과가 큰 최적화 요소는 임베딩 모델 교체가 아닌 LLM 캡션 통합이었다. Amazon Nova 2 Lite로 타일당 7개 뷰를 동시에 분석해 생성한 구조화 설명을 임베딩과 함께 색인하면 수영장 F1이 11%, 도로 F1이 13% 상승했다. 반면 이미지 임베딩 없이 캡션 텍스트만 사용하면 F1이 17% 하락해 시각 신호가 여전히 필수임을 확인했다. 검색 방식별로는 기본 k-NN, 이미지+캡션 융합, 메타데이터 필터링 세 방식이 수영장 질의에서 F1 0.638로 동점을 기록했고, 도로 질의에서는 캡션이 적용된 기본 k-NN이 0.524로 가장 높았다.
AWS GenAIIC는 평가 프레임워크를 사전에 구축해 모델·융합 전략·검색 방법을 설정값 변경만으로 교체 가능하도록 설계한 것이 핵심 의사결정이었다고 밝혔다. 이를 통해 수주 작업을 수 시간으로 단축했다는 설명이다. Vexcel은 그랜트 파크 실증 결과를 바탕으로 고부가가치 지역 집중 배포, 지역 확장, 글로벌 영상 전체 커버리지 순서의 3단계 제품화 로드맵을 진행 중이다. “지중해식 주택과 테니스 코트 탐지” 또는 “일본의 추가 장비 설치 가능한 통신 타워 찾기”처럼 구체적이고 복합적인 자연어 검색이 생산 기능으로 전환되는 단계에 있다.
