챗GPT 할루시네이션 믿고 민원…현장 공무원이 야근으로 수습

생성형 AI가 제공한 잘못된 법률 정보를 사실로 믿고 민원을 제기하는 사례가 법률·정책·의료 분야 전반으로 번지면서 현장 실무자들의 부담이 가중되고 있다. 최근 서울의 한 소방서에는 상가 복도 물건이 대피로를 막는다는 민원이 접수됐는데, 담당 소방관이 단속 예외에 해당한다고 안내하자 민원인은 “AI에 물어봤는데 처벌 대상이 맞다고 했다”며 반박했다. 해당 AI 답변은 2022년 개정 전 법령을 기준으로 한 환각(hallucination) 오류였으며, 소방관은 야근까지 하며 관련 규정을 일일이 찾아 민원인에게 증명해야 했다.

세부 조건에 따라 적용이 천차만별인 행정·법률 분야에서 AI의 환각 현상과 학습 데이터 한계를 인지하지 못한 채 무리한 주장을 펴는 경우가 늘고 있다. 한국연구재단 부설 정보통신기획평가원에 따르면 주요 AI 모델이 법률 분야 답변에서 환각을 환각으로 감지하는 비율은 64%에 불과하다. 즉 AI 스스로도 자신의 오류를 36% 이상의 경우에서 인식하지 못한다는 의미다. 그럼에도 많은 사람들이 AI의 그럴듯한 오답을 절대적 기준으로 삼으면서 이를 수습하는 현장 공무원과 전문가들의 업무만 늘어나는 상황이다.

전문가들은 AI 할루시네이션으로 인한 행정 낭비를 줄이기 위한 제도적 대응이 시급하다고 지적한다. 최호택 배재대 행정학과 교수는 “공공기관은 AI발 허위 정보 민원에 대응할 명확한 실무 매뉴얼을 마련해야 한다”고 강조했다. AI가 생성한 법률 정보는 학습 데이터 기준 시점 이후의 법령 개정을 반영하지 못하고, 지역·상황별 세부 조건을 정확히 처리하지 못하는 구조적 한계를 안고 있다.

생성형 AI 이용자가 급증하면서 AI를 사실 확인 도구로 과신하는 경향도 확산되고 있다. 전문 영역일수록 AI 답변을 교차 확인하지 않고 그대로 수용하는 비율이 높다는 점이 문제로 지적된다. 공공기관 민원 처리 현장에서 AI 기인 오정보 대응 체계를 갖추는 것이 AI 리터러시 교육과 함께 당면 과제로 부상하고 있다.