중국 바이두 연구진이 문서 수십 페이지를 한 번의 추론 과정에서 처리하면서도 메모리 사용량과 처리 속도를 일정하게 유지하는 광학문자인식(OCR) 모델 ‘무제한 OCR’을 공개했다. 연구진은 기술보고서에서 현재 어떤 OCR 모델도 한 번에 10페이지 이상을 처리하지 못한다고 지적하며, 그 병목이 언어모델이 이전에 처리한 토큰을 저장해두는 버퍼인 KV캐시에 있다고 밝혔다. 기존 시스템은 텍스트가 늘어날수록 이 버퍼가 계속 커져 메모리 사용량과 속도가 함께 나빠지고, 이를 피하려면 페이지마다 캐시를 초기화하며 순차 처리해야 했다.
바이두는 이 문제를 사람이 책을 필사할 때 이미 옮겨 적은 모든 내용을 다시 읽지 않고, 원문과 방금 쓴 몇 글자, 다음에 쓸 글자에만 집중하며 오래된 부분은 자연스럽게 흐려지는 방식에 비유했다. 연구진이 고안한 참조 슬라이딩 윈도우 어텐션(R-SWA)은 매 생성 토큰이 참조 이미지 토큰과 프롬프트는 전부 참조하되, 이미 생성한 출력 텍스트에 대해서는 직전 128개 토큰만 되돌아보게 설계됐다. 이를 통해 KV캐시 크기를 출력 길이와 무관하게 고정할 수 있다. 다만 시각 토큰까지 일반적인 슬라이딩 윈도우 방식처럼 계속 변화시키면 이미지 특징이 점차 흐려질 수 있어, R-SWA는 시각 토큰만은 한 번 인코딩된 뒤 변하지 않도록 예외 처리했다.
무제한 OCR은 오픈소스 모델 딥시크 OCR을 기반으로 구축됐다. 바이두는 딥인코더 구조를 그대로 유지하면서 30억 개 파라미터의 전문가 혼합(MoE) 아키텍처를 결합했고, 추론 시 실제로 활성화되는 파라미터는 약 5억 개 수준이다. 학습에는 단일 페이지와 다중 페이지 데이터를 9대1 비율로 섞은 약 200만 개의 문서 샘플이 사용됐으며, 다중 페이지 데이터는 2~50페이지 분량으로 단일 페이지를 이어붙여 합성한 것으로 알려졌다. 모든 학습 데이터는 3만2000토큰 단위 시퀀스로 묶여 엔비디아 A800 GPU 128대에서 4000스텝 동안 학습됐다.
문서 벤치마크 옴니독벤치(OmniDocBench) v1.5에서 무제한 OCR은 전체 93%의 점수를 기록해 딥시크 OCR 기준선보다 6%포인트 높았고, 최신 버전인 v1.6에서는 93.92%로 엔드투엔드 시스템 중 최상위를 기록한 것으로 나타났다. 40페이지가 넘는 장문 처리에서도 오류율이 0.11 이하로 유지됐으며, 연구진은 남은 오류의 원인이 문맥 손실이 아니라 딥인코더의 해상도 한계 때문이라고 설명했다. 처리 속도 면에서는 기본 모드 기준 초당 5580토큰을 처리해 딥시크 OCR(초당 4951토큰) 대비 12.7% 빨라졌다. 다만 현재 모델의 문맥 길이는 3만2000토큰으로 제한돼 있어 페이지 수에 한계가 있으며, 바이두는 향후 12만8000토큰 모델과 필요한 KV블록만 스스로 불러오는 프리필 풀 개발을 계획하고 있다고 밝혔다. 코드와 모델 가중치는 깃허브와 허깅페이스에 공개됐다.
저작권자 © STORIUM 무단전재 및 재배포 금지
