사회 시뮬레이션 에이전트의 중간 의사결정에 사람 선호를 붙인 57,239쌍 학습 실험

대규모 언어모델 기반 생성 에이전트는 기억 검색, 반성, 계획, 행동 선택 같은 중간 단계를 거쳐 사람 행동을 흉내 낸다. 하지만 이런 단계별 판단에 대한 세밀한 사람 주석은 드물고, 기존 학습은 대개 시뮬레이션이 끝난 뒤의 결과만 평가해 왔다. 이 논문은 그 간극을 겨냥해, 시뮬레이션 도중 각 모듈 출력에 대한 사람 선호를 직접 모으는 인터랙티브 환경 SimPref를 제안한다.

이 방식으로 만든 데이터셋은 57,239개의 선호 쌍으로, 계획, 중요도 점수화, 반성 질문 생성, 반성, 행동, 대화의 6개 의사결정 모듈을 포괄한다. 수집 대상은 서로 다른 개인 목표를 지닌 30개 사회적 사건이며, 각 사건에는 4~8명의 에이전트가 부분 관측 환경에서 참여했다. 예비 평가가 아니라 실제 학습용 데이터 구축과 그 효과 검증까지 함께 다뤘다는 점이 핵심이다.

사회 시뮬레이션 에이전트의 중간 의사결정에 사람 선호를 붙인 57,239쌍 학습 실험 논문의 Figure 1 — Figure 1: Overview of our framework. (1) SimPref enables step-level human super- vision. At each triggered decision step, the LLM backend of the agent generates three candidate outputs from the current decision context, and a human annota- tor selects a preferred output or provides a customized alternative. This yields one accepted output and multiple rejected outputs, stored as pairwise prefer- ence tuples in the dataset. (2) Repeating this process produces a GA preference dataset with 57,239 preference pairs spanning 30 social events and 6 agent mod- ules. (3) Accepted outputs are used for supervised fine-tuning, while pairwise preferences (x, y+, y−) are used for direct preference optimization. 출처: arXiv:2607.14485

학습은 공개 가중치 언어모델에 대해 지도 미세조정(SFT)과 직접 선호 최적화(DPO)를 적용하는 방식으로 진행됐다. 검증은 10개의 보류된 사회적 사건에서 이뤄졌고, 연구진은 단계 수준 선호 학습이 전체 궤적 지표 전반을 일관되게 높인다고 보고한다. 구체적으로 Table 2에서 인간 평점은 위치 적합성 3.12, 시점 적합성 3.07, 역할 요구 3.25, 상호작용 적합성 3.41, 품질 3.09로 제시됐고, GPT-4o는 각각 2.39, 2.94, 2.81, 3.07, 2.30이었다.

같은 표에서 베이스 모델들도 선호 학습 뒤 성능이 올라갔다. 예를 들어 Q7B-Base는 SFT 후 2.27, 2.76, 2.81, 2.93, 2.60이었고 SFT+DPO 후 2.33, 2.70, 2.83, 2.89, 2.64였다. L8B-Base는 SFT 후 2.37, 2.75, 2.84, 2.93, 2.64, SFT+DPO 후 2.75, 2.56, 3.08, 2.91, 2.71로 나타났다. 논문은 또 인간 기준과의 괴리가 학습 전 0.610에서 학습 후 0.084로 줄었다고 적어, 개별 결정뿐 아니라 장기 행동 구성도 사람 기준에 가까워졌다고 설명한다.

흥미로운 점은 데이터가 곧바로 내부 정렬의 차이도 드러낸다는 사실이다. Table 1에 따르면 각 후보가 3개씩 제시될 때 무작위 일치의 기준은 약 33%인데, 중요도 점수 모듈은 인간 선택과 LLM 상위 후보가 맞는 비율이 29.3%로 가장 낮았다. 논문은 이를 포함한 모듈별 상호 정합성을 통해, 중간 단계 감독이 결과만 보는 평가보다 더 직접적으로 행동 생성 과정을 교정할 수 있음을 보인다.

구분	원문 수치/내용	근거 위치
데이터셋 규모	57,239 preference pairs; 30 social events; 6 agent modules	p.2, p.6 \| source_excerpt; Table 1 언급
평가 설정	10 held-out social events; each event 4-8 agents; 3 independent episodes each lasting 3 simulated days	p.2, p.7 \| source_excerpt; 6.1 Experimental Setup
인간-LLM 정합 예시	Importance Score: 29.3% of human choices matching LLM’s top-ranked candidate; random agreement baseline ≈33%	p.7 \| source_excerpt; Table 1
학습 후 괴리 변화	divergence to the human reference 0.610 before training -> 0.084 after training	p.11 \| source_excerpt

자료: STORIUM 정리

이 연구는 2026년 7월 16일 공개된 arXiv에 공개된 첫 원고로, 동료심사 전 단계의 결과다. 기록된 한계도 분명하다. 각 결정 단계는 중복 없는 단일 주석자로 라벨링됐기 때문에 상호 주석자 일치도는 보고되지 않았다. 또 일반 능력 유지 여부를 MMLU나 IFEval 같은 범용 벤치마크로 확인하는 추가 검증, 그리고 57K쌍 전체에 도달하기 전 성능이 포화되는지 보는 데이터량 절제 실험도 후속 과제로 남겨뒀다.