연구 논문 등 긴 문서에서 원하는 정보를 정확하게 뽑아내는 일은 단순 요약과는 다른 난제로 꼽힌다. 마크테크포스트는 문서 추출 도구 ‘리프트(Lift)’를 활용해 다중 페이지 연구 보고서에서 제목, 저자, 데이터셋, 성능 지표, 하이퍼파라미터, 한계점, 코드 저장소 링크 등을 스키마 기반으로 정확히 추출하는 검증 절차를 소개했다. 단순한 데모 실행이 아니라, 정답이 명확히 정해진 통제된 평가 환경을 구축하는 데 초점을 맞춘 사례다.
이 검증에서는 먼저 검증·테스트 지표 혼동, 기준모델과 제안모델 비교 혼동, 코드 미공개 사례, 불확실한 최고 성능 주장 등 실제 논문에서 흔히 나타나는 함정 요소를 의도적으로 배치한 가상의 다중 페이지 연구 보고서를 합성해 만들었다. 이는 리프트가 단순 텍스트가 아니라 문서 레이아웃 전반에서 제목, 저자, 데이터셋, 한계점, 저장소 링크 등을 복원해야 하는 현실적인 시험대 역할을 한다. 실행 환경은 16GB급 제한된 GPU에서도 안정적으로 구동되도록 4비트 양자화 방식을 적용해 구성했다.
추출 대상 항목은 논문 제목과 저자 소속, 주요 과제, 제안 방법명, 사용 데이터셋, 대표 성능 지표, 파라미터 수, 하이퍼파라미터, 기존 최고 성능 대비 우위 여부, 코드 공개 링크, 명시된 한계점 등으로 구성된 JSON 스키마를 기반으로 한다. 이런 스키마 설계는 제안 모델의 값과 기준모델의 값, 테스트 지표와 검증 지표, 실제 공개된 코드 링크와 코드 미공개 사례를 구분하는 데 기술적으로 중요한 역할을 한다. 이를 통해 추출 작업을 개방형 요약이 아니라 통제된 스키마 기반 정보 검색 과제로 전환할 수 있다는 설명이다.
검증 절차는 추출된 JSON을 정답 라벨과 대조해 필드별 정확도를 계산하는 채점 체계를 갖추고 있으며, 숫자값은 오차 허용 범위를 두고 비교하고 문자열은 정규화한 뒤 비교하는 방식을 사용한다. 추출 결과는 하나의 조회 가능한 연구 지식베이스로 정리돼, 예컨대 기존 최고 성능을 넘어섰다고 주장하는 논문만 골라내는 질의도 가능하다. 해당 사례는 리프트가 문서 기준 벤치마크에서 높은 필드 추출 정확도를 보인다고 소개하며, 이번 합성 코퍼스에서도 유사한 수준의 정확도가 나타났다고 전했다. 이 절차는 규제 문서나 기술 보고서처럼 정밀한 구조화 추출이 요구되는 다른 장문 문서에도 그대로 적용할 수 있는 실용적인 템플릿이 될 수 있다는 점에서 의미를 갖는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
