일본어 대규모 언어 모델(LLM) 학습 코퍼스에서 민감 개인정보를 탐지하는 자동화 분류기 연구가 발표됐다. 연구팀은 일본 개인정보보호법(APPI)이 규정하는 ‘배려필요 개인정보(SCPI, Special Care-Required Personal Information)’를 학습 데이터에서 신속히 식별하는 것이 개인정보 규정 준수와 정보 유출 방지에 필수적이라는 점에서 이 연구를 시작했다. 영어 등 주요 언어와 달리 일본어 텍스트를 대상으로 한 민감 정보 탐지 연구는 지금까지 거의 이뤄지지 않았다.
연구팀은 LLM 기반 어노테이션(주석 부착)을 활용해 배려필요 개인정보 데이터셋을 직접 구축했다. 이 데이터셋을 토대로 머신러닝 모델을 훈련시켜 텍스트 내 해당 정보를 빠르게 탐지하는 분류기를 개발했다. SCPI는 인종·신조·사회적 신분·병력·범죄 이력 등 정보 주체에 특별한 불이익을 줄 수 있는 정보 유형으로, 일본 APPI 체계에서 일반 개인정보보다 한층 엄격한 취급이 요구된다.
실험 결과 이 연구에서 개발된 분류기는 배려필요 개인정보에 해당하는 항목을 효과적으로 식별하는 성능을 보였다. 연구진은 본 연구가 일본어 텍스트 코퍼스에서 SCPI 탐지를 다룬 최초의 시도라고 밝혔다. 또한 정확한 탐지를 어렵게 만드는 일본어 특유의 언어 구조적 과제를 함께 제시했다. LLM 개발 과정에서 데이터 품질과 개인정보 보호를 동시에 확보하려는 수요가 늘어나는 가운데, 이 연구는 일본어권 AI 개발 생태계에서 법 준수를 위한 실용적 도구로 평가된다.
글로벌 AI 기업과 연구 기관들은 학습 데이터 내 개인정보 노출 문제를 해결하기 위해 데이터 정제 파이프라인을 강화하는 추세다. 유럽의 일반개인정보보호규정(GDPR)이나 일본 APPI 같은 엄격한 규제 환경에서 LLM 학습 데이터를 대규모로 처리하려면 이와 같은 자동화 탐지 도구가 필수적이다. 이 연구는 영어 중심으로 발전해 온 데이터 정제 기법의 영역을 일본어로 확장한다는 점에서 의의가 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
