[태그:] LLM평가

과학·수학 문항 분석에서 모델 합의는 조건부 신호에 그쳤고 최전선 모델의 높은 일관성이 과신으로 이어질 수 있다고 나타났다.

실제 대화 2053건으로 만든 환자 시뮬레이터와 임상 사례 1164개 평가에서 말투가 LLM 긴급도 판단을 바꿀 수 있음이 나타났다.

다중 턴 대화에서 대규모 언어모델의 신념 업데이트가 베이즈 추론에 얼마나 가까운지 평가하는 벤치마크 '베이즈벤치'가 공개됐다. 모델 규모가 커질수록 추론은 개선되지만 ...

정보 검색 AI 에이전트의 실패 사례와 성공 사례를 비교해 프롬프트를 자동 수정하는 새로운 최적화 기법이 제안됐다.

여러 LLM을 심사위원으로 쓰는 '패널 합의' 방식이 특정 조건에서 편향을 벗어나지 못한다는 연구가 나왔다. 기하중앙값 기반 강건 추정으로 이를 보정한 ...

LLM 평가자를 활용해 경제학 논문 6,208편의 아이디어 품질을 사전 측정한 연구가 나왔다. 실행 품질이 최소 기준을 정하고, 아이디어 품질은 중간 ...

AWS가 AI 에이전트의 툴 호출 경로와 할루시네이션을 추적 평가하는 오픈소스 툴킷 Agent-EvalKit을 공개했다.

앤트로픽의 최신 모델 클로드 오퍼스 4.8을 10개 정직성 함정으로 테스트한 결과, 대부분에서 이전 버전보다 개선됐지만 법률 분야에서 중대한 판단 오류가 ...

노-리밋 텍사스 홀덤 토너먼트로 LLM의 전략적 추론 능력을 9개 인지 차원에서 평가하는 Poker Arena 연구. 클로드 오퍼스 4.6이 칩 수익 ...

앨런AI연구소가 모델 개발 중 반복 평가를 위한 워크벤치 olmo-eval을 공개했다. 체크포인트 간 성능 변화를 문항 단위로 비교하는 기능이 핵심이다.

개인용 AI 에이전트를 현실적인 컴퓨팅 환경에서 자동으로 벤치마크하는 프레임워크 'STAGE-Claw'가 공개됐다. 2026년 6월 9일 arXiv에 등록된 이 연구는 기존 에이전트 ...

최신 LLM(대규모 언어 모델) 판별 모델이 실제 학생의 수학 풀이 과정을 평가하는 데 큰 어려움을 겪는다는 연구 결과가 나왔다. 2026년 ...