언어모델은 시스템 안전 분석에서 손실, 위험, 안전하지 않은 제어 행동, 안전 제약 같은 산출물을 작성하는 데 쓰이기 시작했다. 그러나 분석 대상 시스템은 꼼꼼히 검토하면서 분석을 돕는 LLM 도구 자체는 안전 관련 시스템으로 다루지 않는 맹점이 있다. 이 도구도 표준을 지어내거나 검증할 수 없는 제약을 만들고, 프롬프트에서 산출물까지의 감사 흔적을 남기지 않을 수 있다. 연구진은 ‘분석자는 누가 분석하는가’라는 질문을 STPA 절차 자체에 적용했다.
Constitutional Meta-STPA는 AI 보조 안전 도구의 유형을 대상으로 메타 STPA를 수행한다. 손실에서 위험, 안전하지 않은 제어 행동, 제약으로 이어지는 사슬에서 거버넌스 헌법을 선언하는 대신 도출한다. 그 결과 도구 원칙 21개와 메타 안전 원칙 8개를 공개하고, 각 원칙을 실제 코드의 집행 지점에 연결했다. 자연어 지침만 나열하지 않고 어떤 통제가 어디에서 실행되는지를 추적하게 한 구조다.
연구진은 29개 원칙 집합에 대한 헌법 한계 기여도 기반 커버리지 연산자를 정식화하고, 모델과 스캐너의 성능을 커버리지 자체와 분리하는 건전성 보조정리를 제시했다. 최전선 모델 조합은 도구 설계에서 정식 도구 원칙 21개 중 18개와 거버넌스 원칙 8개 전부를 복원했다. 더 약한 모델 조합은 각각 12개와 3개를 복원했다. 독립적으로 작성된 두 번째 도구에서도 같은 거버넌스 원칙 8개가 다시 나타났다고 논문은 보고한다.
결과는 메타 분석도 사용하는 모델 역량에 제한된다는 점을 보여준다. 원칙을 자동으로 도출했다고 해서 도구가 스스로 안전을 보증하는 것은 아니며, 누락된 위험을 사람이 검토해야 한다. 특정 모델 이름과 버전에 의존한 결과는 업데이트 때 재검증할 필요가 있다. 그럼에도 AI 안전 분석을 생성 문서 작업에서 원칙·코드 집행·감사 흔적이 닫힌 고리로 연결된 시스템 공학 문제로 확장했다는 의미가 있다. 원칙마다 실패 시나리오와 테스트를 연결하면 헌법의 존재 여부를 넘어 실제 집행 효과를 지속적으로 확인할 수 있다.
원문: arXiv 2607.08054
저작권자 © STORIUM 무단전재 및 재배포 금지
