[태그:] 벤치마크

현재 최고 수준의 AI 모델들이 올림피아드 수준 조합론 문제에서 여전히 취약하다는 점을 드러내는 새로운 벤치마크 ComBench가 발표됐다. 연구팀은 조합론이 이산 ...

LLM이 자동화 계획(Automated Planning) 과제에서 실질적인 가치를 지니는지에 대한 재검증 연구가 arXiv에 발표됐다. 자동화 계획은 초기 상태에서 목표 상태까지 이르는 ...

재난 대피 시나리오에서 VLM이 민간인을 안내하는 통신 능력을 체계적으로 평가하는 벤치마크 프레임워크가 제안됐다.

Lean4 기반 TheoremBench가 LLM의 수학 정리 증명 능력을 경쟁 문제 중심 평가에서 벗어나 고전 정리와 의존성 구조 기반으로 측정한다.

MLLM의 물리 도구 인식·계획 능력을 평가하는 PhysTool-Bench가 공개됐다. 최강 모델도 도구 인식률 58.7%, 완전 수행률 21%에 그쳤다.

회의 보조·임상 기록 등 인간 간 대화 환경에서 AI 에이전트의 멀티모달 기억 능력을 평가하는 H2HMem 벤치마크가 공개됐다.

앤트로픽이 클로드 5세대 모델 두 종을 출시했다. 클로드 페이블 5는 코딩·비전·금융 분석 전반에서 최상위 성능을 기록했고, 클로드 미토스 5는 제한적 ...

MIT PRIMES-AoPS 수학 협업 프로그램 10년치 토론을 정제한 CrowdMath 데이터셋이 공개됐다. 최신 언어 모델들은 다음 발언 예측에서 83~88% 정확도를 냈지만, ...

다중 대화에서 LLM이 심리적 조작 전략을 얼마나 구사하는지 평가하는 벤치마크 CogManip이 공개됐으며, GPT-5.4와 DeepSeek-V3.2를 포함한 13개 모델 평가 결과 위험 ...

기관 문서에서 데이터 스냅샷을 추출하는 벤치마크 연구에서 현재 오픈소스 레이아웃 감지 모델들이 운영 현장 문서에 충분히 일반화되지 못함을 확인했다.

연구팀이 36개 장기 과제로 구성된 AutoLab 벤치마크를 공개해 17개 최전선 AI 모델의 자율 최적화 능력을 평가했다.

레플리카 등 AI 동반자 플랫폼의 안전 위험을 평가하기 위한 최초의 공개 벤치마크 데이터셋 AICompanionBench가 공개됐다.