영상 이해 AI 전문 기업 트웰브랩스(Twelve Labs)가 GS샵의 숏폼 커머스 서비스 ‘숏픽’에 자사 AI 모델 ‘마렝고(Marengo)’와 ‘페가수스(Pegasus)’를 공급했다고 밝혔다. 국내 홈쇼핑 숏폼 커머스에 영상 이해 AI가 상용 적용된 첫 사례로, 주문 고객 57.5% 증가, 클릭 순방문자 21.7% 증가라는 성과가 도입 검증 단계에서 확인됐다.
이번 적용의 핵심은 상품 카테고리가 아닌 고객의 ‘시청 맥락’을 기반으로 추천하는 방식이다. 고객이 워킹화 영상을 시청하면 AI가 영상 속 통기성·착화감·야외 활동 등의 요소를 분석해 레깅스, 바람막이 같은 관련 상품을 추천한다. 이를 구현하는 것이 영상 추론 모델 페가수스로, 방송 후 제작되는 약 30초 분량의 숏픽 클립에서 기능성·스타일·사용 상황 등 고객이 관심 가질 포인트를 추출하고 이를 행동 데이터와 결합하는 구조다. GS샵은 기존 추천 엔진을 전면 교체하는 대신 영상 맥락 신호를 레이어로 추가하는 하이브리드 방식을 채택했으며, 아마존 베드록(Amazon Bedrock)을 통해 별도 AI 인프라 구축 없이 도입을 완료했다.
운영 효율성도 크게 개선됐다. 멀티모달 임베딩 모델 마렝고를 활용한 영상 검색 성능 테스트에서, 복잡한 한국어 문장으로 조건을 입력해도 1시간 분량의 방송에서 해당 장면을 수초 내에 찾아내는 결과가 나왔다. 기존에 방송 1회당 1~2시간 소요되던 클립 검색·검수 작업을 수초 단위로 단축한 것이다.
2021년 설립된 트웰브랩스는 영상·오디오·텍스트를 통합 이해하는 멀티모달 파운데이션 모델을 자체 개발하는 기업으로, 한국 AI 모델 최초이자 영상 AI 모델 최초로 아마존 베드록에 공급됐다. 엔비디아, NEA 등으로부터 누적 1억700만 달러 규모의 투자를 유치했으며, CB인사이츠(CB Insights) 선정 글로벌 100대 AI 스타트업에 4년 연속 이름을 올리고 있다. 이재성 트웰브랩스 대표는 “영상 속 맥락을 실제 추천 성과로 연결했다는 점에서 커머스 분야에서 영상 AI가 만들어낼 수 있는 비즈니스 가치를 수치로 입증했다”고 밝혔다.
