글로벌 회계·컨설팅 기업 KPMG가 지난 13일(현지 시각) AI 활용 실태를 다룬 자체 보고서를 긴급 회수했다. AI가 사실이 아닌 내용을 그럴듯하게 생성하는 환각(hallucination) 현상으로 스위스은행 UBS 등 여러 기관의 AI 활용에 관한 허위 내용이 보고서에 섞여든 사실이 뒤늦게 확인됐기 때문이다. AI를 분석한 문서가 AI가 만들어 낸 가짜 정보로 채워진 사례로 주목받았다. 이 사건을 계기로 AI 답변을 사후에 재검증하는 ‘AI 검증 솔루션’이 기업용 AI 인프라의 새로운 축으로 빠르게 부상하고 있다.
구글 클라우드와 마이크로소프트(MS) 등 빅테크는 기업용 AI 서비스에 검증 기능을 빠르게 통합하고 있다. 구글 클라우드는 사용자의 질문과 AI 답변을 제어하는 보안 도구 ‘모델 아머(Model Armor)’를 도입한 데 이어, AI가 답변을 생성하는 시점에도 위험 요소를 실시간으로 걸러내는 기능을 추가했다. 두 기능 모두 악의적 유도 질문, 개인정보 유출, 혐오 콘텐츠를 즉각 차단해 기업 현장에서의 AI 안전성을 높이는 것을 목표로 한다. 광고·콘텐츠 분야에서는 AI가 대량으로 생산한 저품질 콘텐츠 옆에 기업 광고가 노출되면 브랜드 신뢰도가 최대 60%까지 하락한다는 조사 결과도 나왔다.
스타트업들도 AI 검증 시장에 빠르게 진입하고 있다. 마크비전은 온라인 쇼핑몰과 소셜네트워크서비스(SNS)에서 위조품·무단 도용 이미지·브랜드 사칭을 탐지하는 AI 기술 ‘마크AI’를 운영하고 있다. 영상 이해 AI 스타트업 파일러는 화면·음성·자막을 함께 분석하는 멀티모달 AI 기반 브랜드 안전 솔루션 ‘에이드(AiD)’로 해외 시장을 공략 중이다. 이 회사 관계자는 AI 검증 도구가 보안처럼 기업의 필수 안전장치로 자리 잡고 있다고 밝혔다.
전문가들은 AI 성능보다 신뢰성과 안전성이 앞으로의 AI 경쟁력을 가를 핵심 요소가 될 것으로 내다봤다. AI가 코드 개발, 고객 상담, 데이터 분석 등 기업의 핵심 업무로 깊이 파고들수록 답변의 정확성을 보장하는 검증 레이어의 중요성은 더 커질 수밖에 없다는 것이다. 검증 안 된 AI를 무비판적으로 도입했다가 사고가 발생하면 수습 비용이 도입 비용을 크게 상회할 수 있다는 점도 기업들이 검증 솔루션 도입을 서두르는 배경이다.
