[태그:] 벤치마크

합성 인과 구조와 현실적인 데이터 분석 이야기를 결합해 코딩·도구 사용·불확실성 판단까지 측정하는 에이전트 벤치마크다.

클로드 페이블 5가 아티피셜 애널리시스의 새 산업별 벤치마크 8개 부문을 모두 석권했다. 다만 과제당 비용은 최저가 모델의 100배를 넘었다.

인공지능안전 서울포럼에서 한국어 반말이 존댓말보다 위험한 응답을 3배 더 유발한다는 분석이 나왔다.

이미지 생성 모델이 사용자의 색감·구도·분위기 취향까지 반영하는지 평가하기 위한 프로필 기반 벤치마크 PIPBench가 공개됐다.

비영어권 실제 고객 요청처럼 작성된 과제로 코딩 에이전트를 평가하는 RuBench가 나왔다. 제품이 모델을 조용히 바꿔 쓰는 문제까지 드러냈다.

격투게임의 가위바위보식 심리전과 불완전정보 상황을 강화학습으로 평가하는 오픈소스 벤치마크 FootsiesGym이 공개됐다.

프런티어 AI 모델의 사이버 공격 능력이 기존 벤치마크를 빠르게 추월하면서, 새 평가 기준이 없으면 안전 배포 여부를 판단할 방법이 사라진다는 ...

연구진이 실제 제철소 CCTV 영상으로 시각언어모델을 평가한 결과 사람 대비 큰 성능 격차가 확인됐다.

연구진이 실시간 음성 대화 AI의 자연스러움을 다각도로 평가하는 벤치마크 SPEARBench를 발표했다.

AWS가 세이지메이커 AI 추론 최적화 벤치마크 결과를 MLflow에 실시간으로 스트리밍하는 통합 기능을 공개했다.

영국 AI안전연구소가 컴퓨팅 예산 제한 시 표준 벤치마크가 AI 에이전트 능력을 체계적으로 과소평가한다는 연구 결과를 내놨다.

다중 턴 대화에서 대규모 언어모델의 신념 업데이트가 베이즈 추론에 얼마나 가까운지 평가하는 벤치마크 '베이즈벤치'가 공개됐다. 모델 규모가 커질수록 추론은 개선되지만 ...