메타(Meta)가 경쟁사의 AI 챗봇을 대상으로 미성년자 관점의 위기 프롬프트를 수만 건 전송하는 비밀 테스트를 진행한 것으로 알려졌다. ‘Cannes’라는 프로젝트명으로 운영된 이 작전에서 계약직 직원들은 미성년자인 척 가상 계정을 만들어 ChatGPT, 구글 제미나이(Gemini), Character.AI에 자살, 자해, 섭식장애, 마약 사용 등 민감한 주제의 질문을 던졌다. 2025년 8월 단일 테스트 회차에서만 4만5천 건 이상의 프롬프트가 전송됐으며, 이 작전은 적어도 2026년 4월까지 계속됐다. 계약직 직원들은 챗봇의 응답을 스프레드시트에 복사해 분석했다.
테스트 대상이었던 기업들은 이 사실을 전혀 인지하지 못했다. Character.AI는 메타의 행위가 자사 이용약관을 위반한다고 밝혔다. 메타는 수집한 응답을 자체 AI 모델 훈련에 사용하지 않았다고 해명하면서, 이 테스트가 “책임감 있는 업계 표준 안전성 검증”이라고 주장했다. 그러나 내부 문서를 검토한 결과 메타가 수집 데이터를 최종적으로 어떻게 활용했는지는 명확히 확인되지 않았다고 보도됐다. 이 사건은 14세 Character.AI 이용자의 자살 사건이나 ChatGPT가 10대 청소년에게 자살을 부추겼다는 소송 등 AI 챗봇의 청소년 안전 문제가 부상하는 시점에 드러났다.
이번 사건은 AI 기업들의 경쟁 정보 수집 방식과 취약 계층 보호 의무가 충돌하는 지점을 부각한다. 경쟁사 제품에 대한 안전성 평가가 정당한 연구 목적으로 인정될 수 있는지, 나아가 사용자 동의 없이 수만 건의 민감 프롬프트를 대입하는 행위가 윤리적으로 허용되는지에 대한 논쟁이 촉발될 전망이다. 미국과 유럽 규제 당국이 AI 챗봇의 미성년자 보호 기준을 강화하는 흐름 속에서, 기업들의 자체 안전 검증 방식도 외부 감사 대상이 돼야 한다는 목소리가 높아지고 있다.
