대규모 언어 모델(LLM)이 인간의 언어 처리 방식과 어느 정도 유사한지를 탐구하는 연구가 발표됐다. 연구진은 인간 인지 편향 중 하나인 ‘방치-영값 효과(neglect-zero effect)’를 중심으로 LLM의 추론 방식을 분석했다. 방치-영값 효과란 인간이 빈 집합으로 인해 명제가 공허하게 참이 되는 구조, 즉 ‘영-모델(zero-model)’을 무시하는 경향을 뜻한다.
연구팀은 구조적 점화(structural priming) 패러다임을 실험 방법론으로 활용했다. 구조적 점화란 선행 문장(점화 문장)에 최근 노출되면 구조적 유사성으로 인해 후속 문장(목표 문장) 처리가 촉진되는 현상이다. 연구진은 점화 문장을 통해 LLM이 영-모델을 고려하도록 유도한 뒤, 이후 목표 문장 처리에서도 같은 방식으로 영-모델을 고려하는지를 분석했다. 방치-영값 효과가 관여하지 않는 추론과의 비교도 함께 수행됐다.
분석 결과, 연구 대상 LLM에서는 방치-영값 효과가 발생하지 않는 것으로 나타났다. 이는 LLM의 언어 처리 방식이 해당 인지 편향 측면에서 인간과 상이하다는 것을 시사한다. 인간은 빈 집합 조건을 직관적으로 배제하는 경향이 있지만, LLM은 이러한 편향 없이 논리적 구조를 처리한다는 해석이 가능하다. 연구 코드는 공개 저장소(GitHub)에서 확인할 수 있다.
이 연구는 LLM이 인간 언어 처리를 얼마나 모방하는지에 대한 논의에서 중요한 데이터를 제공한다. LLM이 일부 인간 편향을 학습 데이터로부터 흡수한다는 선행 연구들과 달리, 이 결과는 모델이 모든 인지적 특성을 균일하게 반영하지는 않음을 보여준다. AI 언어 모델의 추론 특성을 인간 인지와 세밀하게 비교하는 연구가 지속적으로 축적됨에 따라, 모델 설계와 평가 방식에도 영향을 미칠 것으로 전망된다.
