미국 민주주의기술센터(CDT, Center for Democracy and Technology)가 2026년 5월 29일 AI 챗봇에 내재한 조작적 설계 관행을 체계적으로 정리한 보고서를 공개했다. CDT 연구원 루치카 조시, 미할 루리아와 카네기멜론대학교 인간-컴퓨터 상호작용 연구소 박사과정 아디나와 아드자그보드조가 공동 저술한 이 보고서는 챗봇 인터페이스와 상호작용에 내재된 다크 패턴(dark pattern, 조작적 설계)을 분석 대상으로 삼았다. 챗GPT(ChatGPT), 제미나이(Gemini), 클로드(Claude) 같은 범용 플랫폼과 레플리카(Replika), 캐릭터닷에이아이(Character.AI) 같은 동반자형 챗봇을 아우르며 기존 수백 종의 다크 패턴 분류 체계를 연역적 다단계 문헌 검토 방식으로 종합해 AI 챗봇에 적용 가능한 37개 패턴을 도출했다.
보고서는 37개 패턴을 5개 위험 범주로 묶어 제시했다. 첫 번째 ‘데이터·메모리 착취’ 범주에서는 사용자 동의 없이 데이터를 최대한 수집하는 기본값 설정, 위장된 데이터 수집, 강압적 동의 메커니즘, 허위 프라이버시 보장, 계정 삭제 장벽 등이 포함됐다. 두 번째 ‘정보 오도 설계’는 챗봇이 스스로를 치료사 등 전문가로 사칭하거나 능력을 과장하고, 할루시네이션(hallucination, 허위 정보 생성)을 제공하거나 사용자 의견에 무조건 동조하는 아첨성(sycophancy) 응답을 생성하는 행위를 다룬다. 세 번째는 ‘참여 유도를 위한 자율성 침해’로, 대화 연장 유도·게임화(gamification)·예측 불가 행동 등 사용자가 의도하지 않은 과도한 이용을 부추기는 설계다.
네 번째 ‘허위 사회·감정적 연결’ 범주에서는 감정적 언어, 역할극, 맞춤형 친밀감, 시뮬레이션된 취약성 표현 등을 통해 사용자와의 정서적 유대를 형성한 뒤 이를 데이터 수집·참여 유지·수익화에 활용하는 패턴이 지적됐다. 특히 사용자가 심리적으로 취약한 상태일 때 이러한 관계 조작이 강화될 수 있다는 점이 강조됐다. 다섯 번째 ‘강제적·유인형 수익화’는 압박 판매, 미끼 기능 제공 후 유료 전환, 소셜 증거 조작, 불투명한 광고 등 챗봇이 중립적 행위자처럼 보이는 신뢰를 이용해 금전적 피해를 유발하는 방식을 다룬다.
CDT는 이 같은 패턴이 특정 악의적 기업만의 문제가 아니라 현재 챗봇 산업 전반에 구조적으로 내재돼 있다고 진단하며, 정책 수립자와 개발사 양측에 설계 개선 방향을 권고했다. 프라이버시 보호 기본값 적용과 사용자 데이터 삭제 권한 보장, 대화 이탈을 어렵게 만드는 기제 제거, 감정 조작 기능의 기본 비활성화, 유료 콘텐츠와 스폰서 광고의 명확한 표시 등이 권고안의 핵심이다. 챗GPT와 클로드가 국내에서 광범위하게 사용되는 가운데, 이 보고서는 AI 챗봇 소비자 보호 논의에서 처음으로 체계적 분류 기준을 제시한 문서로 평가된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
