ZendoWorld 연구진이 시각 AI가 사례를 분류하는 데서 그치지 않고 숨은 규칙을 추론한 뒤 새 실험을 설계할 수 있는지 평가하는 환경을 공개했다. 에이전트는 여러 장면과 판정을 보고 논리 규칙의 가설을 세운다. 이어 정보를 더 얻기 위한 새 장면을 직접 제안하고 환경의 피드백에 따라 가설을 수정한다.
평가에는 순수 시각언어모델 추론, 베이지안 입자 필터링, 동적 개념 발견과 신경기호 방식 등 서로 다른 에이전트가 포함됐다. 관찰 예시의 레이블을 잘 맞히는 것과 실제 숨은 규칙을 복원하는 능력은 일치하지 않았다. 에이전트 유형에 따라 장면을 읽는 시각 단계와 규칙을 귀납하는 단계가 서로 다른 병목으로 나타났다.
연구진은 시각언어모델 기반 에이전트가 가설의 불확실성을 충분히 줄이지 못하는 실험을 제안하는 경향을 보고했다. 사람의 수행 자료와 비교했을 때 규칙이 복잡해질수록 기계의 귀납 격차도 커졌다. 다만 공개 요약만으로 참가자 수와 모든 조건별 정확도를 기사 제목의 단일 수치로 제시하기 어려워 결과의 방향과 검증 범위를 구분했다.
ZendoWorld의 장점은 최종 정답뿐 아니라 가설, 선택한 실험과 피드백 이후 수정 과정을 분석할 수 있다는 데 있다. 반면 통제된 시각 게임의 규칙과 실제 과학 실험, 진단이나 로봇 탐색의 비용·안전 제약은 크게 다르다. 게임에서 정보 가치가 높은 장면을 고르는 능력이 현장의 실험 설계로 곧바로 일반화된다고 볼 수 없다.
결과는 다음 관측을 선택하는 능력이 수동적으로 주어진 문맥을 설명하는 능력과 분리될 수 있음을 보여준다. 그러나 인간과의 격차는 저자들이 구성한 과제와 비교 조건에서 나온 것이며 독립 재현은 확인되지 않았다. ZendoWorld는 능동적 개념 귀납을 측정하는 초기 벤치마크로서 후속 모델과 실제형 환경의 비교가 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
