금융 보고서와 뉴스에서 기업명·날짜·금액 같은 개체를 자동으로 추출하는 금융 개체명 인식(NER, Named Entity Recognition) 과제에서 범용 LLM(대규모 언어 모델)은 도메인 특화 패턴을 놓치는 경향이 있다. 이런 비정형 금융 텍스트를 구조화된 지식 그래프로 변환하려면 도메인 맞춤 인식 능력이 필수다. 연구팀은 오픈소스 모델 DeepSeek-R1-8B에 경량 파인튜닝 기법인 LoRA(저랭크 적응, Low-Rank Adaptation)와 NEFTune(잡음 임베딩 파인튜닝, Noisy Embedding Fine-Tuning)을 결합해 이 문제를 개선했다.
연구팀은 1,693개 주석 문장으로 구성된 금융 코퍼스를 활용했으며, 각 문장은 지시-입력-출력 트리플 형태로 변환됐다. LoRA 행렬을 트랜스포머 레이어에 삽입해 학습 가능한 파라미터 수를 크게 줄였고, NEFTune은 학습 중 임베딩 벡터에 균일 잡음을 추가해 일반화 성능을 높이는 역할을 했다. 대상 개체 유형은 기업, 날짜, 위치, 금액, 인물, 제품, 수량 등 7개 범주였다. 두 기법의 조합은 전체 파라미터 재학습 없이 도메인 적응력을 높이는 실용적인 경량화 전략으로, 제한된 컴퓨팅 자원 환경에서도 적용할 수 있다는 장점이 있다.
실험 결과 LoRA만 적용한 DeepSeek-R1-8B는 7개 개체 유형에 대해 마이크로 F1 점수 0.901을 기록했으며, NEFTune을 추가하자 0.912로 향상됐다. 이는 Llama3-8B, Qwen3-8B, Baichuan2-7B, T5, BERT-Base 등 비교 모델들을 모두 앞서는 수치다. 별도의 전체 재학습 없이 도메인 성능을 끌어올렸다는 점이 실용적 의의로 꼽힌다.
이 연구는 금융 분야 비정형 텍스트를 지식 그래프로 변환하는 파이프라인 구축에 활용할 수 있는 방법론을 제시한다. 파라미터 효율적 미세조정 기법과 정규화 기법의 조합이 소규모 주석 데이터 환경에서도 실질적인 성능 개선으로 이어진다는 점을 실증했으며, 금융 외 다른 전문 도메인으로의 확장 가능성도 열려 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
