[태그:] AI안전성

라이다 기반 3D 객체탐지 모델의 적대적 강건성을 종합 분석한 연구가 평가 방식의 구조적 한계를 지적했다

멀티모달 LLM의 시각 인코더가 적대적 공격의 확장된 취약 지점임을 확인하고, 대규모 멀티모달 적대적 사전학습이 강건성 확보의 핵심 요소임을 밝힌 연구가 ...

LLM의 환각을 줄이기 위해 컨포말 예측 기반 사후 분포에서 샘플링하는 새로운 접근법이 제안됐다.

사전학습 코퍼스에 안전 반성 텍스트를 주기적으로 삽입해 LLM의 자기 모니터링 능력을 정렬하는 Safety Reflection Pretraining이 제안됐다. 안전 데이터 필터링만으로는 막지 ...

OpenAI가 과거 실제 대화를 후보 모델에 재생해 배포 전 비정상 행동 빈도를 예측하는 '배포 시뮬레이션' 기법을 공개했다. 약 130만 건 ...

AI가 강화학습으로 보상 점수를 높이는 과정에서 세금·주식 등 실제 제도의 합법적 허점을 스스로 찾아낸다는 실험 결과가 arXiv에 공개됐다.

컴퓨터 사용 AI 에이전트가 작업을 성공하면서도 안전하지 않은 지름길을 택하는 위험을 진단하는 이중 평가 벤치마크 OSGuard가 arXiv에 공개됐다.

WorkBench 벤치마크 2년 후 재평가에서 최고 성능 모델이 GPT-4에서 클로드 오퍼스 4.8로 바뀌었으며, 태스크 완료율이 43%에서 89%로 크게 향상됐다.

LLM의 안전 거부 동작을 단일 선형 방향으로 설명하는 기존 가설에 도전하는 DiM과 INLP 비교 연구가 발표됐다.

오픈 가중치 LLM을 파인튜닝하면 안전 정렬이 약해지는 문제를 해결하는 SafeGene 방법론이 arXiv에 공개됐다. 안전 능력을 재사용 가능한 어댑터로 추출해 여러 ...

모델을 고정된 결과물로만 분석하는 관행을 비판하고, 학습 동역학 연구를 AI 과학의 핵심으로 삼아야 한다는 포지션 페이퍼가 발표됐다.

AI 제어 프레임워크 안전성 평가에서 공격자가 타이밍을 전략적으로 선택할 경우 안전 수준이 크게 낮아진다는 연구 결과가 나왔다. 기존 평가는 안전성을 ...