영국 에이번앤서머셋(Avon and Somerset) 경찰이 10여 년에 걸쳐 구축한 대규모 예측 분석 프로그램의 실태가 탐사 보도를 통해 드러났다. 이 경찰서는 2016년부터 적어도 23개의 위험 예측 알고리즘을 개발·운용하며, 절도 가능성·법정 불출석·실종·가정폭력 피해 위험 등을 점수화했다. 브리스틀 지역 절반 가까운 주민의 경찰 정보·주거 상태·정신건강 기록 등 민감 데이터를 한 데 모은 ‘씽크 패밀리 데이터베이스'(Think Family Database)에는 거의 50만 명에 달하는 정보가 담겼다.
그러나 독립적 AI 감사 업체 에티카스(Eticas)가 경찰이 제출한 1만 3천 개 이상의 모델 성과 데이터를 분석한 결과는 충격적이었다. 절도 예측에 활용된 한 모델은 3년 넘게 10% 미만의 정밀도를 기록한 것으로 나타났다. 즉 위험군으로 분류된 사람 중 실제로 범죄를 저지른 비율이 열 명 중 하나에 불과했다는 뜻이다. 아동 성 착취(CSE) 및 아동 범죄 착취(CCE) 예측 모델은 데이터 공급 문제로 정확도가 급격히 떨어지자 직원들이 “더 이상 운영에 적합하지 않다”고 판단했고, 두 모델 모두 2023년까지 조용히 폐기됐다. 폐기 결정에 대한 공식 기록조차 남아 있지 않았다.
투명성 부재와 감독 체계 미흡이 핵심 문제로 지목됐다. 독립 검토 당시 모델의 소스 코드와 변수 목록을 찾을 수 없었으며, 인종·성별·사회경제적 지위에 따른 세부 편향 검사도 이루어지지 않았다. 브리스틀 시민들 대부분은 자신의 데이터가 수집되고 위험 점수가 매겨졌다는 사실 자체를 알지 못했다. 이 같은 상황에서 영국 정부는 올해 7,500만 파운드 규모의 ‘PoliceAI’ 기구를 출범시키며 43개 경찰서에 AI 도구를 보급하겠다고 발표했다. 런던 경찰청 표준 기구를 이끄는 전직 에이번앤서머셋 청장이 이 사업을 주도하는 상황이어서 과거 사례로부터의 교훈이 새 체계에 반영될지 주목된다.
