[태그:] AI안전

앤트로픽(Anthropic)이 자사의 상업적 성공이 책임 있는 AI 개발의 전제 조건이라는 독특한 논리를 유지하고 있다. 기업가치 약 1조달러로 성장하면서 권력 집중 ...

베이징 AI 컨퍼런스를 취재한 와이어드 기자는 미국과 중국 양쪽 전문가 모두 통제 불능 위험을 우려하고 있으며, AI 안전 문제에서는 경쟁을 ...

오픈AI가 리눅스 재단 산하 어피아 파운데이션을 공동 설립해 AI 국제 표준 마련을 지원한다. 국가 간 AI 안전 평가 결과를 공유할 ...

과기정통부와 IITP가 2027년부터 8년간 3000억 원 규모의 AI 안전·신뢰 기술 개발 사업을 추진한다. 오픈AI·앤트로픽과는 안전성 평가 및 사이버보안 협력 협약도 ...

아마존이 베드록 가드레일에 새 API 'InvokeGuardrailChecks'를 추가했다. 별도 리소스 생성 없이 에이전트 루프의 각 단계에서 유해 콘텐츠, 프롬프트 공격, 민감 ...

오픈AI가 GPT-5 시리즈 출시 전 실제 대화 맥락을 재활용하는 배포 시뮬레이션 기법으로 비정상 행동을 사전에 탐지했다고 밝혔다.

골격 기반 행동인식 시스템에 동작 자연스러움을 유지하면서 공격 성공률을 높이는 분포 기반 적대적 공격 기법이 제안됐다.

위험 인식 인과 게이팅(RACG) 프레임워크가 LLM 에이전트의 고위험 행동을 최소화하면서 실용성을 유지하는 방법을 제안했다. 예측 신뢰도가 아닌 반사실적 위험 추정에 ...

코넬대 연구진에 따르면 단 13단어 분량의 짧은 게시글만으로도 ChatGPT·구글 AI 검색의 답변을 조작할 수 있는 것으로 나타났다. AI가 레딧·위키피디아 등 ...

앤트로픽 CEO 다리오 아모데이가 개인 블로그에서 AI 모델의 의무 제3자 감사 제도와 위험 모델 배치 차단 권한을 정부에 부여해야 한다고 ...

오픈AI가 복수 주 검찰총장의 연합 조사를 받게 됐다. 광고·사용자 데이터 처리·미성년자 보호·모델 아첨 문제 등을 포괄하는 소환장이 발부됐다.

서울시설공단이 AI 기반 인파 관리·도로 돌발상황 감지·산불 감시 시스템을 올해부터 본격 가동한다.