AFFORDANCE20Q, 물리 속성 기반 어포던스 추론 벤치마크 공개
LLM의 물리적 어포던스 추론 능력을 20문답 게임 형식으로 평가하는 벤치마크 AFFORDANCE20Q가 공개됐다. 최신 LLM은 인간 대비 약 20점 격차를 보였다.
[태그:] AI평가
AI 평가 결과 통합 스키마 ‘Every Eval Ever’, 2만 2천여 모델 데이터 공개
AI 평가 결과를 단일 JSON 형식으로 표준화하는 통합 스키마와 커뮤니티 저장소 'Every Eval Ever'가 공개됐다. 현재 2만 2,235개 모델과 2,273개 ...
코딩 에이전트 공정 비교 벤치마크 Claw-SWE-Bench 공개
연구팀이 다양한 코딩 에이전트 하네스를 공정하게 비교하기 위한 다국어 벤치마크 Claw-SWE-Bench를 발표했다. 어댑터 설계 방식이 Pass@1 점수를 크게 좌우하는 것으로 ...
PlanGPT 재검증 연구: LLM 계획 능력, 탐욕 탐색 수준에 그쳐
LLM이 자동화 계획(Automated Planning) 과제에서 실질적인 가치를 지니는지에 대한 재검증 연구가 arXiv에 발표됐다. 자동화 계획은 초기 상태에서 목표 상태까지 이르는 ...
LLM 사전학습 모델에 잠재된 자기평가 능력, 소량 데이터로 이끌어낸다
기반 LLM이 외부 심사 모델의 채점을 예측하는 잠재적 자기평가 능력을 갖추고 있으며, 160개 사례만으로 이를 활성화할 수 있다는 연구가 발표됐다.
LLM 에이전트 자기진화 능력 분리 연구: 업데이트와 수혜는 다르다
LLM 에이전트의 자기진화 능력에서 '하네스 업데이트 능력'과 '업데이트된 하네스에서 이익을 얻는 능력'이 별개라는 연구가 공개됐다. 중간 성능 모델이 가장 큰 ...
