최신 AI는 널리 쓰이는 평가에서 높은 점수를 얻지만, 사람이 거의 고민하지 않는 문제에서 뜻밖에 흔들린다. 문자열을 단순히 바꾸거나 다리가 다섯 개인 개를 그리는 식의 요구가 대표적이다. Blind-Spots-Bench는 이런 간극을 우연한 오류로 넘기지 않고 별도의 진단 대상으로 만든 평가다. 연구진은 AI 수업 학생들이 제시한 질문을 정리하고 구조화된 정답을 붙여 235개 표본과 과제 분류 체계를 구성했다. 익숙한 지식시험보다 모델이 지시의 형태와 시각적 제약을 실제로 다룰 수 있는지 묻는 데 초점을 맞췄다.
평가 범위는 언어모델뿐 아니라 비전언어모델과 이미지 생성 모델까지 아우른다. 연구진은 서로 다른 출력 형식을 일관되게 채점하기 위한 자동 평가 절차도 마련했다. 분석 결과 폐쇄형 최전선 모델과 공개 가중치 모델은 기존 평가에서 비슷해 보여도 이 진단에서는 약 10%의 차이가 날 수 있었다. 다만 특정 모델이 모든 유형에서 우위를 차지하지는 않았고, 평가한 모델 모두가 어려워하는 과제도 남았다. 하나의 종합 점수만으로 실제 능력을 설명하기 어렵다는 뜻이다.
이 연구의 의미는 새로운 순위표보다 평가 설계의 방향에 있다. 모델이 잘 푸는 문제를 더 많이 쌓는 대신, 인간 사용자에게 명백한 요구를 왜 놓치는지 구체적으로 찾게 한다. 제품 개발자는 이런 표본을 회귀시험에 넣어 업데이트 뒤에도 동일한 맹점이 남는지 확인할 수 있다. 다만 235개 표본은 모든 실제 상황을 대표하지 않으며 자동 채점 역시 정답 표현의 다양성을 완벽히 포착하지 못할 수 있다. Blind-Spots-Bench는 범용 지능의 결론이라기보다 현재 모델의 취약한 경계를 찾는 스트레스 테스트로 읽는 편이 타당하다.
후속 평가에서는 같은 능력을 표현만 바꾼 여러 문항으로 반복하고, 실패가 지각·지시 이해·출력 제약 중 어디에서 생겼는지 구분할 필요가 있다. 사람에게 쉽다는 기준도 문화와 경험에 따라 달라질 수 있으므로 참여자 집단을 넓혀야 한다. 이런 보완이 이뤄지면 맹점 평가는 모델 선택뿐 아니라 학습 자료와 안전 점검의 우선순위를 정하는 도구가 될 수 있다.
원문: arXiv 2607.08317
저작권자 © STORIUM 무단전재 및 재배포 금지
