아마존웹서비스(AWS)가 멀티모달 파운데이션 모델 아마존 노바를 활용해 이미지 속 개인식별정보(PII)를 자동으로 탐지하고 가려주는 파이프라인을 공식 블로그를 통해 공개했다. 얼굴 일부, 반사면에 비친 얼굴, 배경의 문서나 표지판처럼 정형화된 텍스트 검출 도구로는 놓치기 쉬운 사례까지 맥락을 이해해 잡아내는 것이 특징이다.
이 파이프라인은 아마존 노바2 라이트가 전체 워크플로를 조율하는 구조로 설계됐다. 이미지에 개인정보가 있는지 먼저 판단한 뒤, 얼굴이나 지문 같은 시각적 요소는 메타의 오픈소스 분할 모델 세그먼트 애니싱 모델(SAM 3)을 아마존 세이지메이커에 배포해 픽셀 단위로 정확한 경계를 찾아내고, 문서나 표지판 속 문자 정보는 아마존 텍스트랙트(Textract)의 광학문자인식(OCR) 기능으로 추출한다. 노바는 두 결과를 종합해 실제로 개인정보에 해당하는지 문맥을 고려해 판단하는 역할을 맡는다.
특히 이 시스템은 개별 텍스트 조각만 보면 개인정보가 아니지만 같은 이미지 안에서 조합되면 식별 가능한 정보가 되는 경우도 포착하도록 설계됐다. 예를 들어 거리 이름과 번지수가 이미지 내 서로 다른 위치에 각각 나타나더라도, 노바는 두 요소가 결합해 완전한 주소를 구성한다는 점을 인식해 이를 가림 대상으로 분류한다. 대부분의 업무용 이미지에는 개인정보가 없다는 점에 착안해, 노바가 개인정보 부재를 조기에 판단하면 이후의 값비싼 세그먼트 애니싱·텍스트랙트 호출을 건너뛰어 전체 처리 비용을 낮추는 구조도 갖췄다.
전체 워크플로는 아마존 S3에 이미지가 업로드되면 이벤트브리지가 스텝펑션 상태머신을 실행하는 방식으로 자동화된다. 개인정보가 감지된 좌표는 람다 함수가 파이썬 이미지 처리 라이브러리 필로우(Pillow)를 이용해 실제로 가리며, 최종적으로 노바가 결과물을 다시 검토해 잔여 개인정보가 남아있으면 수동 검토 폴더로 보내는 검증 단계도 포함된다. AWS는 이 아키텍처가 별도의 모델 파인튜닝이나 깊은 머신러닝 전문성 없이도 조직이 규정 준수 수준의 개인정보 마스킹을 구축할 수 있게 해준다고 설명했다.
