정서가(valence)를 단서와 결과의 연합으로 학습시키는 과제를 합성곱 신경망에 얹은 논문이 나왔다. 이 연구는 동료검토 전 arXiv 프리프린트로, 복잡한 자연 장면을 읽는 시각 모듈과 정서적 의미를 판별하는 정서가 모듈을 결합한 뒤 새로운 Pavlovian 학습 절차를 모델에 시험했다.
출발점은 인간의 연합 정서 학습이다. 초록과 본문은 기존 Rescorla-Wagner 계열 모형이 유용하지만 신경 데이터에 적용할 때 한계가 있다고 짚고, 딥러닝이 대안이 될 수 있다고 본다. 설계된 시각-정서가 모형은 VGG-16을 ImageNet으로 사전학습한 시각 피질 모듈과, 두 개의 완전연결층과 1개 출력층으로 이뤄진 정서가 모듈, 그리고 초기 시각층과 정서가 모듈을 잇는 Shortcut 경로로 구성됐다(p.7–9, p.17).
학습에는 Videoframe과 IAPS 두 정서 이미지 데이터셋이 쓰였다. Videoframe은 2,185개 짧은 영상에서 나온 총 21,876개 정서 이미지로 설명되며, 학습·검증·시험을 8:1:1로 나눴다. IAPS는 1,182개 이미지로 구성되고 각 이미지에 인간 관찰자 기반의 규범적 정서가 점수가 붙어 있다. 이 연구에서는 두 데이터셋의 정서가 라벨을 1~9점 척도로 사용했다(p.9–13).
검증은 실제 자극-반응 연합을 모사하는 조건화 실험으로 진행됐다. 자연 정서 이미지(US)와 Gabor 패치(CS+)를 서로 다른 사분면에 동시에 제시했고, 학습과 시험 단계에서 US는 4사분면, CS+는 2사분면에 놓았다(p.14). IAPS에서 가장 쾌적한 이미지 22개와 가장 불쾌한 이미지 22개가 무조건자극으로 선택됐고, 일반화 가능성을 보기 위해 주파수 조건화와 대비 조건화도 보조적으로 시험했다고 적는다(p.13–14).
결과는 학습 이후 모델이 인간 연합학습에서 관찰된 여러 양상을 재현했다고 정리한다. 예측 정서가는 45°와 135° 두 CS+를 구분했고, 13개 방향으로 확장했을 때 훈련에 쓰지 않은 11개 방향에서도 일반화가 나타났다(p.19, p.21). 또 10회 독립 반복에서 평균과 표준오차를 제시하며, 조건화 뒤 CS+와 US의 표상 정렬이 단일 뉴런 수준과 집단 수준에서 더 강해졌다고 보고했다(p.18, p.19, p.25–26). 인간 실험 데이터와의 비교도 추가 검증으로 제시됐다(p.2, p.17).
| 항목 | 수치/구성 | 근거 위치 |
|---|---|---|
| Videoframe 데이터셋 | 2,185개 짧은 영상, 총 21,876개 정서 이미지, 분할 8:1:1 | p.11, p.9 |
| IAPS 데이터셋 | 1,182개 이미지, 감정가 규범 점수 보유, 이 중 22개 가장 쾌적·22개 가장 불쾌한 이미지가 US로 선택 | p.11, p.13 |
| 조건화 검증 설계 | US는 4사분면, CS+는 2사분면에 배치, 학습과 시험 단계 모두 동일 | p.14 |
| 내부 평가 성능 | 시험 분할 디코딩 성능 Videoframe 0.4007, IAPS 0.4395 | p.17 |
자료: STORIUM 정리
정량 비교에서는 내부 평가 지표도 함께 제시됐다. 시각-정서가 모형의 시험 분할 디코딩 성능은 Videoframe 0.4007, IAPS 0.4395로 보고됐고(p.17), 일부 분석은 100회 반복과 일표본 t-검정으로 유의성을 계산했다(p.16, p.26). 전체적으로 이 논문은 딥 신경망이 적절한 학습 알고리즘과 결합될 때, 행동 및 신경학적 연합 감정·정서가 학습 신호를 모사할 수 있음을 보였다고 주장한다(p.2).
저작권자 © STORIUM 무단전재 및 재배포 금지
