보안 업계가 매일 쏟아지는 취약점 정보를 자동으로 정리할 때 겪는 오류가 특정 인공지능 모델의 한계보다 분류체계 자체의 설계에서 비롯된다는 연구 결과가 나왔다. 연구진은 공개 취약점 항목(CVE)을 소프트웨어 약점 유형(CWE)으로 자동 연결하는 문제를 텍스트 분류 과제로 정의하고, 서로 다른 학습 방식과 언어모델을 비교한 논문을 arXiv에 공개했다. 이 논문은 동료심사 전 사전 공개본으로, 2026년 유럽 인공신경망 학회(ICANN)에서 발표될 예정이라고 저자들은 밝혔다.
연구진은 하나의 취약점에 하나의 유형만 붙이는 다중 클래스(multi-class) 방식과 여러 유형을 동시에 붙일 수 있는 다중 레이블(multi-label) 방식을 나란히 시험했다. 여기에 일반 목적의 BERT, 보안 특화 모델인 SecureBERT와 CySecBERT라는 세 가지 언어모델을 각각 83개, 47개, 25개로 라벨 수가 다른 세 분류 공간에 적용했다. 전반적으로는 다중 클래스 방식이 더 높은 성능(macro-F1 기준)을 냈지만, 라벨 수가 줄어들수록 두 방식의 격차는 21퍼센트포인트에서 2퍼센트포인트까지 좁혀졌다. 다중 레이블 방식에 판정 기준값을 사후 조정하자 25개 라벨 구간에서는 격차가 완전히 사라졌다.
가장 눈에 띄는 대목은 오류의 원인 분석이다. 연구진이 오분류 패턴을 뜯어보니, 틀리는 방향이 CWE 분류체계의 계층 구조를 그대로 따라갔다. 이런 오류 양상은 세 언어모델 모두에서 거의 동일하게 나타났고, 모델 간 상관계수가 0.92를 넘었다. 어떤 모델을 쓰느냐보다 분류체계를 어떻게 짜느냐가 오류를 좌우한다는 뜻이다.
이 점을 확인하기 위해 연구진은 같은 CWE 계열 안에서 벌어진 오류는 눈감아주는 완화 평가 방식을 도입했다. 그러자 성능 지표가 약 81%에서 약 90%로 뛰었다. 엄격한 잣대만으로는 같은 갈래 안에서 잘 작동하는 분류기의 실력이 과소평가된다는 지적이다. 세 모델 중에서는 CySecBERT가 전반적으로 가장 뛰어났고, 특히 다중 레이블 방식에서 통계적으로 의미 있는 개선을 보였다. 보안 실무에서 취약점 대응 우선순위를 자동으로 매기려는 시도가 늘어나는 가운데, 이번 연구는 도구의 성능을 끌어올리려면 모델 교체 못지않게 분류체계의 설계를 함께 들여다봐야 한다는 점을 짚었다. 원문 초록 보기
