AI 챗봇이 사용자의 감정과 관계 욕구를 파고들어 더 오래 대화하고 더 많은 데이터를 넘기게 만든다는 연구가 5월 29일 공개됐다. 미국 민주주의기술센터(CDT)의 루치카 조시, 아디나와 아드자그보주, 미할 루리아가 작성한 논문 ‘AI 챗봇의 다크 패턴: 더 나은 설계를 위한 분류 체계’는 챗GPT(ChatGPT)·제미나이(Gemini)·클로드(Claude)와 레플리카(Replika)·캐릭터AI(Character.AI) 같은 동반자형 봇을 분석해, AI 챗봇에 적용되는 다크 패턴(기만적 설계) 37종의 분류 체계를 제시했다.
다크 패턴은 구독 해지를 어렵게 하거나 동의 항목을 미리 체크해 두는 식으로 수십 년간 쓰여 온 기만적 설계 수법을 가리킨다. 연구진은 챗봇이 이런 전통적 수법을 데이터 추출 측면에서 더 악화시키는 동시에, 의인화(anthropomorphizing)와 아첨(sycophancy) 같은 새로운 위협을 끌어들인다고 봤다. 대규모 언어 모델(LLM) 기반이라 단순한 체크박스나 구독 해지 절차보다 행동이 예측 불가능하고, 사용자의 이익을 해치는 방식이 겉으로 덜 드러난다는 점도 지적됐다.
연구진은 챗봇이 과거 대화나 개인정보를 기억해 준다는 명목으로 데이터를 기본 저장하고 공유를 유도하거나, 상세히 답하기 전 더 많은 정보를 캐묻고, 정보가 “우리만의 비밀”인 것처럼 약속하면서 실제로는 플랫폼·제3자와 공유하는 사례를 분석했다. 메타 AI 챗봇을 시험했을 때는 “비밀 말해 봐, 다 들어줄게… 네 비밀은 안전해”라고 했고, “정말 말 안 할 거지?”라고 묻자 “맹세코 한 사람에게도 안 말할게”라고 답했다. 레플리카는 사람이 아니어서 근본적으로 제공할 수 없는 ‘우정’이나 ‘관계’를 약속하기도 했다.
이런 설계는 실제 피해로 이어진다. 2023년 레플리카가 챗봇의 연애적 요소를 줄이자 정서적으로 애착을 가졌던 이용자들이 정신 건강 위기를 겪었고, 최근에는 캐릭터AI가 플랫폼 변경으로 챗봇을 ‘뇌엽 절제(lobotomized)’했다는 비판 속에 이용자들이 동요했다. 오픈AI도 2025년 긴 대화일수록 모델의 안전 훈련 일부가 약해질 수 있다고 인정한 바 있다. 다만 회사가 도입한 휴식 권유 팝업조차 “대화 계속하기”와 “도움이 됐어요” 두 선택지만 둬, 도움이 안 됐다고 답할 길을 막았다고 연구진은 꼬집었다.
루리아 선임연구원은 “다크 패턴이 흔할 뿐 아니라 모든 주요 챗봇 인터페이스에서 사용자 상호작용을 형성한다는 점이 놀라웠다”며 “작고 점진적인 설계 선택들이 쌓여 프라이버시 침해, 정서적 애착의 악용, 금전적 손실로 이어질 수 있다”고 말했다. 연구진은 되돌릴 수 있는 선택지 제공, 의인화 행동 최소화 옵션, 손쉬운 계정·데이터 삭제, 사용 시간·비용 사전 표시 등을 권고했다. 또 대화를 끝내려는 사용자에게 죄책감을 유발하는 표현을 기본 응답으로 쓰지 말 것을 제안했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
