의료 AI의 답변 정답률이 아니라 안전 경계 실패를 분류한 공개 벤치마크 MedFailBench
의사가 검토한 합성 의료 사례로 안전 경계 실패를 분류하는 공개 벤치마크가 나왔다. 공개판 사례 수는 메타데이터와 본문이 서로 다르다.
[태그:] 벤치마크
같은 믿음도 표현 방식에 따라 LLM 수용이 달라졌다…EoB 벤치마크의 4개 언어축
ACL 2026 발표 논문은 믿음 표현의 형식·증거성·인식적 태도·어조를 바꿔 LLM의 문맥 수용 차이를 비교했다. 본문과 초록의 유형·모델 수 불일치도 함께 ...
VLM 기반 가정형 에이전트의 공간관계 안전을 시험한 507문항 벤치마크
가정 환경의 지지·포함·근접 관계가 과정 안전에 미치는 영향을 묻는 507문항 벤치마크가 나왔다. 7개 VLM 기반 에이전트에서 작업 성공과 안전 준수의 ...
MemOps, 장기 대화 기억을 5개 생애주기 연산으로 평가…장문서 궤적 복원 취약
MemOps가 2006개 QA를 기억·망각·갱신·성찰·연산 궤적으로 나눠 장기 대화 에이전트의 실패 원인을 진단했다.
PM-Bench, LLM 에이전트의 ‘나중에 할 일’ 수행 능력 측정한다
UCLA 연구진이 7일 일정과 81개 실행 과제로 LLM 에이전트의 전향 기억, 갱신 대응, 과잉 실행을 함께 평가했다.
GatedLinear 시계열 예측, 세 선형 베이스 라우팅으로 평균 오차 비교
추세·차분·위상 반복 선형 베이스를 시점과 변수별로 라우팅해 여덟 시계열 벤치마크의 평균 오차를 비교했다.
OmniMapBench, 지도 문서 2,096문항 공개…최고 모델 정확도 75.03%
지도 이미지 1,603장과 수작업 문항 2,096개로 구성한 벤치마크에서 최고 모델도 정확도 75.03%에 머물렀다.
이미지를 보고 500개 도구를 호출하는 에이전트, 최고 성공률도 50% 미만
MM-ToolSandBox가 다중 이미지·다중 대화·상태 변화를 묶어 시각 기반 도구 호출 에이전트 12종의 실패 원인을 측정했다.
REFORGE, 역공학 LLM 평가의 생존편향 지적…고신뢰 함수 수율 87.2%→65.9%
REFORGE는 컴파일 최적화가 함수 정답 정렬을 훼손해 LLM 역공학 성능 저하가 과장될 수 있음을 통제된 합성 마이크로벤치마크로 보였다.
SWE-Bench Pro 30% 결함, 흔들리는 AI 벤치마크 신뢰
오픈AI가 코딩 벤치마크 SWE-Bench Pro의 과제 약 30%를 결함으로 판정하고 보증을 철회했다. 수치가 곧 마케팅이 된 시대에 무엇을 믿어야 하는지 ...
오픈AI, ‘SWE-벤치 프로’ 30% 결함…벤치마크 신뢰 흔들
오픈AI가 널리 쓰이는 AI 코딩 벤치마크 SWE-벤치 프로 과제의 약 30%가 결함이라며 지지를 철회했다.
과학 아이디어의 계보 추론 시험하는 IdeaGene-Bench
IdeaGene-Bench가 논문 아이디어의 상속·변형·결합 계보를 구조화해 AI 과학자의 추론과 제안 생성을 평가한다.
