현재 AI 평가는 정확도와 견고성, 추론 능력, 정책 준수 같은 기술 성능에 주로 초점을 둔다. 마르코스 이코노미데스 등 연구진은 자연어로 사람과 직접 상호작용하는 시스템에는 이 기준만으로 충분하지 않다고 주장한다. 조언자와 코치, 교사, 동반자 역할을 하는 AI의 답변은 사용자가 감정을 해석하고 믿음을 형성하며 신뢰와 결정을 조절하는 방식에 영향을 줄 수 있기 때문이다. 논문은 2026년 7월 9일 arXiv에 제출된 프리프린트다.
연구진은 빠진 평가 차원으로 ‘심리적 역량’을 정의한다. 이는 인간 대상 AI가 사용자와 상황, 상호작용 목적에 맞게 인지와 감정 해석, 행동 의사결정을 지원하는 능력이다. 단순히 친절하거나 공감하는 문장을 만드는지를 넘어 문제를 어떤 틀로 제시하는지, 어조와 권위가 어떻게 지각되는지, 불확실성을 어떻게 다루고 대화를 어느 방향으로 이끄는지를 포함한다.
평가 단위도 모델 단독에서 인간과 AI의 상호작용으로 넓어진다. 저자들은 행동과학과 인간·AI 상호작용 연구를 바탕으로 개념의 핵심 영역과 경계를 정리하고, 상황 기반 탐침과 구조화된 인간 평가, 모델 보조 평가를 가능한 측정 방식으로 제시한다. 모델 공급자와 배치 조직, 연구자, 규제 기관이 실제 사용 효과를 검토할 때 심리적 역량을 핵심 고려 사항으로 삼아야 한다는 주장이다.
이 논문은 특정 벤치마크나 검증된 종합 점수를 제안하지 않는다. 심리적 적절성은 사용자와 문화, 목적에 따라 달라질 수 있고 자동 평가가 그 차이를 놓칠 위험도 있다. 따라서 현재 작업은 평가해야 할 대상을 정의하고 연구 의제를 세우는 개념적 프리프린트로 봐야 한다. 향후에는 심리적 지원과 부당한 영향력 행사를 구분하는 기준, 장기 효과를 측정하는 방법이 필요하다. 같은 조언도 사용자의 취약성과 관계 맥락에 따라 효과가 달라질 수 있으므로 평균적인 만족도만으로 평가해서는 안 된다. 사용자가 AI의 한계와 의도를 이해하는지, 대화를 중단하거나 사람의 도움으로 전환할 수 있는지도 심리적 역량의 운영 기준에 포함할 필요가 있다.
원문: arXiv 2607.08285
