코넬대와 캠브리지대 연구진이 발표한 ERR@HRI 3.0 챌린지는 인간-로봇 상호작용에서 오류를 감지하고, 오류가 드러나기 전의 반응까지 예측하는 문제를 함께 다뤘다. 이번 챌린지는 원시 비식별화 전 웹캠 영상과 자연스러운 수집 환경을 사용해, 통제된 실험실 조건보다 변동성이 큰 실제 조건에서의 일반화 가능성을 시험하도록 설계됐다.
자료는 두 개로 구성됐다. BAD 데이터셋은 45명의 참가자가 로봇 및 인간 실패 장면 46개를 볼 때의 자발적 얼굴 반응을 담았고, Bad Idea 데이터셋은 29명의 참가자가 결과가 드러나기 전 행동 시나리오 30개를 보며 나쁜지 좋은지 예측할 때의 선행 얼굴 반응을 담았다. 두 데이터셋 모두 크라우드소싱으로 수집됐으며, 조명·카메라 각도·위치·배경의 차이가 그대로 남아 있다.
평가에는 세 개 트랙이 쓰였다. 트랙 1은 BAD 기반의 방관자 반응 이진 분류, 트랙 2는 Bad Idea 기반의 선행 결과 예측 이진 분류, 트랙 3은 두 데이터셋 간 전이 일반화였다. 참가자 제출은 고정 길이 슬라이딩 윈도 단위로 이뤄졌고, 트랙 1의 비디오 수준 판정은 다수결, 트랙 2는 양성 클래스 확률의 최댓값으로 집계했다. 3개 팀이 유효 모델을 제출했으며, 모두 제공된 CNN 기준선을 최소 1개 트랙에서 넘었다.
| 구분 | 표본/규모 | 핵심 조건 | 기사 관련 수치 |
|---|---|---|---|
| BAD | 45명, 46개 자극 비디오, 1,645개 클립 | 실패/통제 장면을 보는 자발적 반응, 30 fps, 원시 비디오 | 총 지속시간 25,527 s; 평균 클립 길이 약 15.5 s |
| Bad Idea | 29명, 30개 행동 시나리오 비디오, 865개 클립 | 결과가 드러나기 전의 선행 얼굴 반응, 30 fps, 2초 안팎 클립 | 총 지속시간 1,851 s; 평균 클립 길이 약 1.95 s |
| 트랙 1 기준선 | BAD 테스트셋 | BadNet, 5 fps 프레임, 5/2 프레임 윈도/슬라이드 | F1 0.502; balanced accuracy 0.502; Det. Time 8.8%; FNR 0.122 |
| 트랙 2 기준선 | Bad Idea 테스트셋 | ResNet-34 fine-tuned, 30 fps 프레임, 10/2 프레임 윈도/슬라이드 | AUC 0.564; F1 0.561; balanced accuracy 0.572; Det. Time 35.6%; FNR 0.384 |
자료: STORIUM 정리
기준선 결과는 트랙 1에서 F1-macro 0.502, balanced accuracy 0.502, Det. Time 8.8%, FNR 0.122였고, 트랙 2에서는 AUC 0.564, F1-macro 0.561, balanced accuracy 0.572, Det. Time 35.6%, FNR 0.384였다. 트랙 1은 실패 클래스 86.9%로 크게 치우쳤고, 트랙 2는 라벨 분포가 52.6% 대 47.4%로 비교적 균형적이었다. 논문은 이 데이터와 결과가 인간-로봇 상호작용에서 반응과 예측을 모두 포괄하는 기준점이 된다고 정리했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
