[태그:] AI안전

케임브리지 CASP가 보코하람 전 조직원 27명과 57회 대면 인터뷰한 보고서를 공개했다. 이용 기록이 아닌 증언 연구라는 한계도 함께 밝혔다.

요하네스 하이데케가 조직 개편 뒤 떠나고 안전팀은 미아 글레이즈 산하로 통합되지만 퇴사 원인과 안전 권한 변화는 확인되지 않았다.

오픈AI 안전 시스템 책임자 요하네스 하이데케가 회사를 떠난다. 안전과 연구 조직을 통합하는 개편 속에 안전 담당 리더들의 이탈이 잇따르고 있다.

SolarChain-Eval이 분산 에너지 시장 에이전트를 물리 안전·공정성·감사 가능성까지 포함해 평가한다.

LLM이 작성하는 위험 분석의 신뢰성을 위해 분석 도구 자체에 STPA를 적용하고 원칙을 코드 집행 지점과 연결했다.

에이전트의 사고 기록을 보는 감시 모델이 악성 논리에 설득될 수 있으며 서로 다른 모델 계열의 사실 검증이 완화책이 된다는 연구다.

비추론 모델과 추론 증류 모델의 가중치 차이를 확대해 숨은 정보와 의도치 않은 행동을 감사 과정에서 드러내는 기법이다.

3만3924판의 다중 에이전트 실험을 담은 arXiv 논문이 배포 규칙 하나만 바꿔도 집단 사망률이 크게 흔들리며, 규칙 문구에 손실 대상을 지목하는 ...

인공지능안전 서울포럼에서 한국어 반말이 존댓말보다 위험한 응답을 3배 더 유발한다는 분석이 나왔다.

프런티어 AI 모델의 사이버 공격 능력이 기존 벤치마크를 빠르게 추월하면서, 새 평가 기준이 없으면 안전 배포 여부를 판단할 방법이 사라진다는 ...

아마존이 재학습 없이 모델 안전장치를 조정하는 rDPO 언러닝 기술로 노바의 과잉 콘텐츠 거부를 줄였다.

연구진이 텍스트-이미지 확산모델에서 관련 개념 손상 없이 특정 개념만 제거하는 학습 없는 기법을 제안했다.