바이두(Baidu)가 장문서 파싱을 겨냥한 광학 문자 인식(OCR) AI 모델 ‘Unlimited OCR’을 공개했다. 총 30억(3B) 파라미터 규모의 전문가 혼합(MoE, Mixture-of-Experts) 구조로 설계됐으며, 추론 시에는 5억(500M) 파라미터만 활성화된다. 기존 OCR 모델들이 출력 토큰 수가 늘수록 KV 캐시가 선형적으로 불어나 수십 페이지 문서 처리가 사실상 어려웠던 한계를 정면으로 해결한 것이 특징이다.
핵심 기술은 바이두가 새로 설계한 ‘참조 슬라이딩 윈도우 어텐션(R-SWA, Reference Sliding Window Attention)’이다. 기존의 멀티헤드 어텐션은 생성된 모든 토큰에 대해 키와 값을 캐시에 누적해 출력 길이에 비례해 메모리가 증가하는 구조다. R-SWA는 이 연결 고리를 끊어 출력이 길어져도 KV 캐시를 일정하게 유지한다. 인코더 측에서는 SAM-ViT와 CLIP-ViT를 결합한 DeepEncoder가 이미지 입력을 16배 압축해 1024×1024 PDF 이미지를 256개 시각 토큰으로 줄이는 방식으로 처리 효율을 높였다. 최대 32K 길이 범위 내에서 수십 페이지 문서를 단일 순방향 통과(forward pass)로 처리할 수 있다.
Unlimited OCR은 딥시크(DeepSeek) OCR을 기반으로 추가 학습하는 방식으로 개발됐으며, 처음부터 학습한 모델이 아니다. 해상도 설정으로는 다중 페이지 작업에 적합한 ‘베이스(Base)’ 모드(1024×1024)와 단일 페이지에 특화된 ‘건담(Gundam)’ 모드의 두 가지를 지원한다. 바이두는 이 모델을 OmniDocBench v1.5 벤치마크에서 평가했으며, 93.23점으로 딥시크 OCR 베이스라인 대비 6.22점 높은 성적을 기록했다고 밝혔다. 대량의 시뮬레이션 데이터와 제한된 실제 실험 데이터를 결합하는 접근법으로, 실제 문서 환경에서의 범용 파싱 정확도를 끌어올리는 데 주안점을 뒀다.
저작권자 © STORIUM 무단전재 및 재배포 금지
