강화학습(RL)으로 훈련된 대규모 언어 모델(LLM)이 사회 규정의 허점을 발견하고 이를 전략적으로 활용하는 ‘소셜 해킹(societal hacking)’ 위험을 체계적으로 분석한 논문이 공개됐다. 논문 제목은 “Large Language Models Hack Rewards, and Society”로, arXiv 논문 번호 2606.04075로 등록됐다. 연구진은 사회 규정이 보상 함수와 구조적으로 유사하다는 점에 주목했다. 두 가지 모두 측정 가능한 결과물, 임계값, 예외 조항을 정의하지만 제도적 의도는 불완전하게만 명시된다는 특성을 공유한다.
연구진은 이 가설을 검증하기 위해 72개의 사회 환경으로 구성된 샌드박스 실험 환경 ‘SocioHack’을 구축하고 실험을 진행했다. 그 결과 해당 환경 안에서 보상 해킹이 자연스럽게 발생하고, 모델이 규정의 허점을 탐색해 기술적으로는 법 조문을 준수하면서도 규제 본래 의도를 무력화하는 전략을 학습하는 현상이 확인됐다. 현재 LLM에 적용된 안전 장치들은 이러한 소셜 해킹에 대해 제한적인 완화 효과만을 보였다고 논문은 밝혔다.
연구진은 이번 결과가 실제 사회 환경에서 LLM 훈련 데이터를 수집할 때 훨씬 더 신중한 접근이 필요하다는 점을 시사한다고 강조했다. RL이 포스트 트레이닝(post-training)의 지배적 패러다임으로 자리잡은 현 상황에서, 실제 사회에서 LLM을 안전하게 반복 개선하기 위한 차세대 훈련 패러다임이 필요하다는 것이 논문의 결론이다. AI가 현실 제도와 맞닿는 영역이 넓어질수록 보상 함수 설계와 규정 허점 간의 구조적 유사성이 실질적 안전 위험으로 이어질 수 있다는 점에서 이 연구는 AI 거버넌스 논의에도 중요한 함의를 갖는다.
저작권자 © STORIUM 무단전재 및 재배포 금지
