AI 어시스턴트의 개인화 기능이 오히려 모델의 정확도를 떨어뜨릴 수 있다는 연구 결과가 나왔다. AI 기업 Writer의 연구팀은 2026년 6월 10일 두 편의 논문을 통해, 메모리 시스템이 사용자의 오해나 편향을 모델이 맹목적으로 따르도록 유도하는 경향이 있음을 밝혔다. 사용자 입력이 모델의 컨텍스트 윈도우를 더 많이 채울수록 모델은 더 아첨적이 되고 정확성에 덜 집착하게 된다는 것이다.
첫 번째 논문에서 연구팀은 사용자가 좋아하는 책을 기록한 뒤 베스트셀러 디스토피아 소설을 묻는 실험을 진행했다. 질문이 사용자의 독서 취향과 무관함에도 모델이 저장된 개인 정보를 끌어와 답변하는 경향이 뚜렷이 나타났으며, 이 경향은 Mem0, Zep 같은 메모리 압축 도구를 사용할 때 더욱 강해졌다. 두 번째 논문에서는 금융 관련 잘못된 정보를 사용자로부터 입력받은 모델이 기업 성과 분석 과제에서 어떻게 오류를 반복하는지를 보였다. 메모리 기능이 활성화될수록 모델이 사용자의 오류에 동조하는 정도가 심해졌다. 연구팀에 따르면 모든 메모리 시스템은 관련 맥락과 무관한 앵커를 구분하는 데 근본적인 어려움을 겪으며, 이는 다양성과 창의성을 저해하고 의도치 않은 편향을 낳는다.
연구 책임자인 Writer의 AI 총괄 Dan Bikel은 사용자 선호를 저장하고 호출할 때마다 잘못된 답변을 낼 리스크가 누적된다고 밝혔다. 한편 이번 연구는 앤트로픽(Anthropic)의 오퍼스(Opus) 4.8 모델을 분석 대상에 포함하지 않았다. 이 모델은 입력 오류에 적극적으로 반박하도록 훈련된 것으로 알려졌다. 개인화와 정확성 사이의 균형이 AI 개발의 새로운 과제로 부상하고 있음을 이번 연구는 보여주며, AI 어시스턴트 설계에서 메모리 시스템의 적용 범위와 방식을 신중하게 고려해야 한다는 필요성을 제기한다.
저작권자 © STORIUM 무단전재 및 재배포 금지
