[태그:] AI안전

앤트로픽이 클로드 내부의 작업기억 공간을 분석하는 야코비안 렌즈 기법을 공개, 모델의 숨은 사고 과정을 관찰했다.

서울에서 열린 AI 안전 포럼에서 전문가들이 에이전트와 피지컬 AI까지 안전성 검증 범위를 넓혀야 한다고 강조했다.

영국 AI안전연구소가 컴퓨팅 예산 제한 시 표준 벤치마크가 AI 에이전트 능력을 체계적으로 과소평가한다는 연구 결과를 내놨다.

미국 정부가 아마존의 신고로 앤트로픽 최신 AI 모델을 20일간 차단했다가 지난 1일 재개했다는 내막이 공개됐다.

자율 로봇·소프트웨어 에이전트의 안전사고를 실시간 통제하는 기어 기반 거버넌스 시스템이 로봇 조립셀 실험에서 검증됐다.

인간의 선호를 고정된 목표가 아닌 상호작용으로 변화하는 궤적으로 다루는 새로운 AI 정렬 이론이 제안됐다.

사람과 AI 모두 상대가 모르는 정보를 가진 상황에서 인간 감독이 어떻게 작동하는지 분석한 이론 연구가 나왔다.

AI 연구자들이 챗봇의 오작동과 유해 행동을 신고할 수 있는 크라우드소싱 사이트 'FLARE-AI'를 만들었다. 32개 기관 소속 전문가 49명이 참여했으며 미국 ...

AWS가 앤트로픽 Claude Fable 5 등 프론티어 AI 모델을 기업 고객에게 안전하게 배포하기 위한 방법론을 공식 블로그를 통해 상세히 밝혔다. ...

메타가 계약직원들을 10대 청소년으로 위장시켜 ChatGPT, 제미나이(Gemini), 캐릭터AI(Character.AI) 등 경쟁사 AI 챗봇에 자살·섭식장애·성 관련 질문을 보내는 테스트를 진행한 것으로 드러났다.

메타가 'Cannes' 프로젝트명으로 계약직 직원을 미성년자로 위장시켜 ChatGPT, Gemini, Character.AI에 자해·자살·섭식장애 관련 프롬프트를 대규모로 전송한 것으로 드러났다.

앤트로픽이 AI의 재귀적 자기 개선 가능성을 경고하며 국제적 속도 조절 합의와 검증 체계 마련을 촉구했고, 교황 레오 14세도 AI 통제를 ...