그룹 대화를 이해하는 연구는 오래전부터 이어져 왔지만, 실제로는 대면과 화상 환경이 따로 축적된 자료에 기대는 경우가 많았다. 이번 arXiv 프리프린트는 그 간극을 메우기 위해, 같은 참가자 집단이 두 환경 모두에서 동일한 협업 과제를 수행한 멀티모달 코퍼스 VIP-MINGLE를 소개한다.
코퍼스는 총 약 59시간의 녹화본으로 이루어지며, 32개 그룹과 105명이 포함됐다. 각 그룹은 대면과 화상 세션을 모두 수행했고, 순서는 균형 있게 배치해 순서 효과를 통제했다. 세션당 평균 길이는 21분이며, 시간 단위로 정렬된 인간 주석 7,077개가 함께 제공된다.
데이터 구성은 원시 오디오·비디오만이 아니다. 음성 분리, 전사, 얼굴 표정, 화자별 시계열 특징 같은 처리된 멀티모달 특징과 함께, 성격·기분을 다루는 심리측정 기초값도 포함된다. 대면 세션은 360도 카메라를 더해 시선과 머리, 신체 방향 정보를 보강했고, 화상 세션은 Zoom의 개별 영상·음성 트랙과 갤러리/AVO 모드를 이용해 수집했다.
코퍼스를 만든 쪽은 두 환경의 차이가 단순한 품질 저하인지, 아니면 상호작용 양식 자체의 변화인지 검토했다. 음성 시간 구조를 보면 화상 세션은 턴 전환 간격이 더 길었고(β = 0.113, SE = 0.054, p = .037), 발화 길이는 더 짧았다(β = −0.094, SE = 0.018, p < .001). 언어 복잡성에서는 MDD만 대면이 더 높았고(p = .017), 나머지 지표는 유의한 차이가 없었다(p ≥ .410).
표정 분석에서도 양상이 갈렸다. OpenFace 기반 AU 지표의 다수는 대면에서 더 강하게 나타났지만, 일부는 화상에서 더 컸다. DeepFace 감정 강도에서는 행복·놀람·공포가 대면에서 더 두드러졌고, 혐오·중립은 화상에서 더 두드러졌다. 10초 단위로 분절한 7,077개 클립에 대한 192명의 주석은 대면 대화가 즐거움 점수에서 더 높았고(p = .001), 유창성에서는 차이가 없었으며(p = .465), 중단과 간격은 대면에서 더 자주 관찰됐음을 보여줬다.
요지는 분명하다. 같은 과제라도 매체가 바뀌면 말의 길이, 멈춤, 표정, 주석된 상호작용 사건의 분포가 함께 달라진다. 연구진은 VIP-MINGLE가 이런 교차 환경 차이를 모델링하고 비교하는 데 필요한 기반 자료가 될 것으로 본다. 이 논문은 아직 동료검토 전 단계의 공개 원고다.
저작권자 © STORIUM 무단전재 및 재배포 금지
