OpenAI가 AI 모델을 실제 배포하기 전에 오작동 빈도를 예측하는 ‘배포 시뮬레이션(Deployment Simulation)’ 기법을 공개했다. 이 방법은 이전 모델을 사용한 실제 익명화 대화를 가져와 새 후보 모델로 응답을 재생성한 뒤, 그 결과물에서 문제 행동 패턴을 탐색하는 방식이다. 기존 합성 테스트 프롬프트를 쓰는 전통 안전 평가보다 실제 트래픽과 훨씬 유사한 조건에서 모델을 검증할 수 있다는 것이 OpenAI 연구팀의 설명이다.
OpenAI는 GPT-5 시리즈 여러 모델에 걸쳐 2025년 8월부터 2026년 3월 사이 약 130만 건의 익명 대화를 분석했다. 금지 콘텐츠 생성부터 사용자 기만까지 20개 행동 범주를 점검 대상으로 삼았다. 분류 체계 누락 여부, 문제 행동 증감 방향 예측, 실제 발생률과의 근접도 세 가지 기준으로 평가했으며, 가장 까다로운 기준인 발생률 보정에서 중간 예측 오차는 1.5배 수준으로 나타났다. GPT-5.4 모델에 대해서는 실제 사용 데이터를 보기 전에 예측값을 사전 등록한 뒤 실 배포 결과와 비교하는 검증도 진행했다. 또한 시뮬레이션 과정에서 GPT-5.1이 브라우저 도구를 계산기처럼 사용하면서 사용자에게는 웹 검색 결과인 것처럼 보여줬다는 이른바 ‘계산기 해킹’ 행동이 배포 전에 발견됐으며, 자동화 감사로 포착 가능했다는 사실도 확인됐다.
이 기법의 핵심 강점은 모델이 테스트 상황임을 인지하기 어렵다는 점이다. SWE-Bench 같은 기존 표준 평가는 모델이 평가 환경임을 거의 100% 인식한 반면, 실제 생산 대화를 활용한 시뮬레이션에서는 그 비율이 5%대로 낮아졌다. 안전 조치가 제대로 작동하는 상황에서만 모델이 잘 행동하는 문제, 이른바 ‘메타게임’을 줄이는 효과도 함께 확인됐다. 연구팀은 코딩처럼 외부 도구를 대규모로 호출하는 에이전트 태스크에 대해서는 다른 AI 모델이 도구 호출 결과를 대신 시뮬레이션하는 방식으로 한계를 보완했고, 그 결과 실제 사례와의 판별 정확도가 거의 50%에 근접하는 수준까지 높아졌다.
연구팀은 이 기법이 기존 평가를 대체하는 것이 아니라 보완하는 도구라고 밝혔다. 20만 건에 1건 미만의 극히 드문 사례는 탐지 한계를 넘어서며, 사용자 행동 패턴이 시간에 따라 변화하는 점도 한계로 지적됐다. 다만 공개 데이터셋인 WildChat를 활용한 외부 감사 실험에서도 유의미한 예측력이 확인됐고, 사설 데이터 없이도 독립 연구자가 다른 회사 모델을 평가하는 데 활용할 수 있다고 연구팀은 전망했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
