활성화 조향의 기하학적 원리, 각도-노름 분해로 규명
LLM의 내부 표현을 조작해 출력을 유도하는 활성화 조향 기법을 각도와 노름으로 분리해 분석한 연구가 arXiv에 발표됐다. 7개 언어 모델 실험을 ...
[태그:] AI안전성
초지능의 협력 가능성, 설계 패러다임 전환 없이는 어렵다
외부 환경을 고정된 피드백 원천으로 취급하는 '독아론적' AI 설계 패러다임에서는 초지능 시스템이 협력적이기 어렵다는 이론 논문이 발표됐다.
오션스마트 시드 투자·에임인텔리전스 글로벌 AI 안전 벤치마크 공개
AI 기반 해운 플랫폼 오션스마트가 한국투자액셀러레이터로부터 시드 투자를 유치했고, AI 보안 기업 에임인텔리전스는 10개국 문화와 법제를 반영한 글로벌 AI 안전성 ...
자율 에이전트 벤치마크, ‘진행 여부 판단 능력’ 측정 안 한다
자율 에이전트가 안전하게 행동할 전제조건이 갖춰지지 않아도 무조건 진행하려는 '순응 편향' 문제를 지적하고 추상화 평가 프로토콜을 제안하는 논문이 발표됐다.
정답 이후에도 계속 생각하면 독이 된다—LRM의 ‘유해한 과잉 추론’ 연구
대형 추론 모델이 정답에 도달한 뒤에도 추론을 지속할 경우 오히려 정확도가 떨어지는 '유해한 과잉 추론' 현상이 확인됐다. 적절한 시점에 멈추는 ...
희귀 이벤트 인과 경로 형식화·반증 방법론 논문 공개
구조방정식 모델에서 희귀 이벤트의 인과 경로를 형식적으로 정의하고 반증 가능한 조건을 도출한 연구가 arXiv에 게재됐다.
트럼프, AI 안전성 검증 행정명령 서명 돌연 취소… “혁신 막는다”
트럼프 대통령이 정부의 프런티어 AI 모델 사전 검증 권한을 담은 행정명령 서명을 직전에 취소했다.
