TriEval: 편향·독성·진실성 동시 평가하는 경량 LLM 평가 파이프라인 공개
arXiv 논문이 GPU 클러스터 없이 일반 노트북에서 LLM의 편향·독성·진실성을 동시에 평가할 수 있는 오픈소스 파이프라인 TriEval을 발표했다. 오픈소스 모델과 클로드(Claude) ...
[태그:] LLM평가
실사용자 행동 추적 기반 개인화 의사결정 벤치마크 BehaviorBench
예측 시장·온체인 기록에서 추출한 실제 지갑 행동 이력으로 개인화 모델을 평가하는 BehaviorBench가 공개됐다.
LLM의 다국어 처리, 저자원 언어는 영어와 구조적 차이 커
LLM의 다국어 처리 능력을 표현 구조 관점에서 분석한 결과, 저자원 언어일수록 영어와의 구조적 차이가 크다는 사실이 확인됐다.
LLM 판사 평가 표준화하는 정책 루브릭 측정 명세 PReMISE 발표
정책 루브릭을 측정 명세로 활용해 LLM 판사 평가의 일관성과 신뢰성을 높이는 PReMISE 프레임워크가 arXiv에 공개됐다.
LLM-FACETS: 프라이버시 보존형 LLM 투명성·책임성 평가 프레임워크
비전문가도 LLM 성능을 감사할 수 있도록 설계된 오픈소스 평가 프레임워크 LLM-FACETS가 arXiv에 공개됐다. EU AI법·NIST 프레임워크와 연계된 구조다.
