미국 국립표준기술연구소(NIST)는 2024년 7월 26일 생성형 AI 위험관리 프로필 ‘NIST AI 600-1’을 발간했다. 2023년 1월 공개한 AI 위험관리 프레임워크 1.0의 자율 활용용 보완 문서로, 조직이 AI 제품과 서비스의 설계·개발·사용·평가 전 과정에 신뢰성 기준을 넣도록 돕는다. 생성형 AI 데이터 보안은 챗봇 입력창만 막는 문제가 아니라 어떤 정보가 모델에 들어가고, 외부 자료와 결합되며, 출력과 실행으로 이어지는지를 함께 통제하는 운영 과제라는 의미다.
현장에서 먼저 확인할 위험은 민감정보 노출과 프롬프트 인젝션이다. 2023년 5월 블룸버그는 삼성전자 직원들이 생성형 AI 도구에 민감한 정보를 실수로 입력한 뒤 회사가 사내 사용을 제한했다고 보도했다. OWASP는 개인정보, 금융·건강 기록, 영업기밀, 보안 자격증명, 법률 문서가 입력이나 출력 과정에서 드러날 수 있다고 설명한다. 또 프롬프트 인젝션은 사용자 입력뿐 아니라 웹페이지와 파일에 숨은 지시가 모델 행동을 바꿔 비공개 정보 조회, 연결 기능의 무단 실행, 중요 판단 왜곡으로 이어질 수 있다고 경고한다.
기업은 사용 금지와 교육만으로 대응하기보다 입력·검색·출력·실행을 나눠 통제해야 한다. 입력 단계에서는 개인정보와 API 키를 탐지해 마스킹하고, 검색증강생성(RAG) 환경에서는 원문 저장소의 사용자·문서 권한을 검색 결과에도 그대로 적용해야 한다. 출력은 허용 형식과 민감정보 규칙으로 검증하고, 메일 발송·결제·데이터 삭제처럼 영향이 큰 기능은 모델에 직접 맡기지 말고 별도 코드와 사람의 승인을 거치게 해야 한다. 다음 표는 NIST의 생애주기 관리 원칙과 OWASP의 완화책을 실무 절차로 묶은 것이다.
| 구간 | 확인할 위험 | 필수 통제 |
|---|---|---|
| 입력 | 개인정보·기밀·자격증명 유입 | 분류, 마스킹, 입력 검증, 보존정책 고지 |
| 검색·연동 | RAG 권한 우회·외부 지시 유입 | 원문 권한 동기화, 외부 콘텐츠 분리, 최소권한 |
| 출력 | 민감정보 재노출·형식 이탈 | 출력 필터, 허용 형식 검증, 기록·감사 |
| 실행 | 무단 기능 호출·중요 행위 오작동 | 기능별 토큰, 별도 코드 처리, 사람 승인 |
한계도 분명하다. OWASP는 RAG와 미세조정만으로 프롬프트 인젝션을 완전히 막을 수 없고, 확실한 단일 예방법도 확인되지 않았다고 본다. 따라서 조직은 모델 행동 제한, 입력·출력 필터, 최소권한, 고위험 작업 승인, 모의 공격을 반복해야 한다. 이 과정은 보안 검토와 로그 저장, 권한 관리 비용을 늘리지만, 사고 뒤 서비스를 전면 차단하는 것보다 사용 범위와 책임자를 먼저 정하는 편이 지속 가능한 대응이다. NIST 프로필 공동저자 케이미 로버츠 등 8명이 제시한 위험관리 관점도 일회성 제품 점검보다 생애주기 전반의 측정과 개선에 초점을 둔다.
저작권자 © STORIUM 무단전재 및 재배포 금지
