AWS가 아마존 베드록(Amazon Bedrock)을 활용해 스캔 PDF 등 비정형 문서에서 데이터를 추출하는 온디맨드·배치 이중 파이프라인 구축 방법을 공개했다. 이 솔루션은 문서 처리의 시간 민감도와 처리 규모에 따라 두 경로를 동적으로 선택할 수 있도록 설계됐으며, 개발 계기는 수억 건의 스캔 토지 임대 문서를 보유한 기업 고객의 실제 수요였다.
온디맨드 파이프라인은 AWS SQS FIFO 큐 메시지가 도착하면 람다(Lambda) 함수가 즉각 실행돼 문서를 내려받고, PDF를 PNG 이미지로 변환한 뒤 아마존 베드록 Converse API를 통해 LLM(대규모 언어 모델)을 호출해 수 초 이내에 추출 결과를 DynamoDB에 저장한다. 문서가 20페이지를 초과할 경우 자동으로 20페이지 단위 청크로 분할해 처리한다. 배치 파이프라인은 아마존 EventBridge 스케줄러가 주기적으로 람다 함수를 실행해 SQS 큐의 메시지를 취합하고 JSONL 아티팩트를 생성한 뒤 아마존 베드록 배치 추론 잡을 제출한다. 배치 잡 최소 건수는 현재 100건이며, 잡이 완료되면 EventBridge가 후처리 람다를 트리거해 결과를 DynamoDB에 저장한다.
두 파이프라인의 핵심 공통 기능은 문서별로 LLM 모델과 프롬프트를 독립적으로 지정할 수 있다는 점이다. 프롬프트는 아마존 베드록 프롬프트 관리(Prompt Management)에 고유 ID와 버전으로 저장되며, SQS 메시지에 원하는 프롬프트 ID·버전을 명시하면 런타임에 해당 프롬프트가 자동으로 불러와진다. 이를 통해 형식이 각양각색인 스캔 문서에도 포맷 맞춤형 프롬프트를 적용해 추출 정확도를 높일 수 있다. 테스트 결과에 따르면 멀티프로세싱을 활용한 배치 파이프라인은 1,000건 문서를 15분 이내에 처리하며, 아마존 베드록 비용은 온디맨드 대비 50% 절감된다.
생성 AI 기반 지능형 문서 처리(IDP)는 금융·법률·부동산·보험 등 대량의 비정형 문서를 다루는 산업에서 수작업을 크게 줄일 수 있어 도입이 빠르게 늘고 있다. AWS는 확장이 필요할 경우 람다 코드를 AWS 배치(AWS Batch)로 이관해 단일 배치 추론 잡에서 수만 건을 처리하는 방향도 제안했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
