기술 매체 마크테크포스트가 텍스트·표·수식·이미지를 아우르는 멀티모달 검색증강생성(RAG) 파이프라인을 구글 코랩 환경에서 직접 구축하는 실습 튜토리얼을 공개했다. 이번 실습은 오픈소스 프레임워크 ‘RAG-애니싱(RAG-Anything)’을 활용해, 하나의 문서 안에 섞여 있는 서로 다른 형식의 정보를 동시에 검색하고 답변을 생성하는 과정을 다룬다.
튜토리얼은 먼저 코랩 환경에 필요한 패키지를 설치하고 오픈AI API 키를 안전하게 입력하는 절차부터 시작한다. 이후 월별 질의량·정확도·지연시간 수치가 담긴 표와 이를 시각화한 차트, 스코어링 수식이 포함된 가상의 성능평가 보고서를 PDF 형태로 직접 생성한다. 이렇게 만든 문서를 텍스트, 표, 수식, 이미지 각각을 별도의 구조화된 블록으로 표현하는 RAG-애니싱의 콘텐츠 리스트 형식으로 변환해 검색 시스템에 색인하는 과정을 보여준다.
실습에서는 오픈AI의 챗봇·비전·임베딩 모델을 각각 연결하는 함수를 직접 구성한 뒤, 이를 기반으로 RAG-애니싱을 초기화하고 문서를 색인한다. 이어 단순(naive), 지역(local), 전역(global), 혼합(hybrid) 등 네 가지 검색 모드로 동일한 질문에 답하도록 해 각 모드가 정확도와 응답 특성 면에서 어떻게 다른지 비교한다. 예컨대 ‘어느 달에 혼합 정확도가 가장 높았는가’처럼 표를 직접 참조해야 하는 질문이나, 스코어링 수식의 의미를 설명하도록 요구하는 질문 등을 통해 표·수식·이미지 근거가 흩어져 있는 문서에서도 답변을 도출할 수 있는지 검증한다.
이 실습은 기업 문서처럼 텍스트뿐 아니라 표·수식·그림이 뒤섞인 자료에서 정보를 통합적으로 찾아야 하는 실무 상황을 염두에 둔 것으로, 혼합 검색 모드가 여러 형식에 걸친 근거가 필요한 질문에 특히 강점을 보인다는 점을 확인시켜준다. 마크테크포스트는 전체 실습 코드를 공개해 개발자들이 직접 재현하며 자사 데이터에 맞는 멀티모달 RAG 시스템을 구축해볼 수 있도록 했다.
