학습 후 양자화는 대규모 언어모델을 제한된 메모리와 계산 자원에 배포하는 대표적인 방법이다. 보통 정확도나 퍼플렉서티가 원본과 비슷하면 동등한 모델로 취급한다. 그러나 전체 점수가 같더라도 두 모델이 맞히고 틀리는 항목은 서로 다를 수 있다. 이 연구는 양자화 전후 모델이 같은 정답을 내는 정도를 보는 ‘정답 일치도’를 제안해 절대 정확도와 별개로 결정 수준의 겹침을 측정했다.
여러 모델과 8비트에서 2비트까지의 양자화 방식을 분석한 결과, 과제 성능이 겉으로 보존되는 중간 수준의 압축에서도 행동 차이가 나타났다. 연구진은 양자화를 단순한 수치 오차가 아니라 어텐션 가중치에 작용하는 구조적 연산으로 보고 계층별 왜곡을 통계적·분포적 지표로 측정했다. 낮은 비트 폭에서는 변화가 선형적으로 늘지 않고 급격한 분기점이 나타났다. 어텐션의 쿼리와 키 투영은 값과 출력 투영보다 일관되게 민감한 것으로 분석됐다.
실무적으로는 압축 모델의 평균 정확도만 확인하고 원본을 대체하면 특정 입력 집단에서 예상치 못한 회귀가 생길 수 있다는 뜻이다. 배포 검증에는 원본과 양자화 모델의 항목별 정답 일치, 오류 유형, 민감 계층, 도메인별 변화를 함께 포함해야 한다. 특히 의료나 보안처럼 개별 실패가 중요한 환경에서는 평균 성능의 동일성이 행동 동등성을 보장하지 않는다. 이 연구는 양자화 방식 선택을 파일 크기와 처리량의 문제에서 모델 정체성과 위험 분포의 문제로 확장한다.
원문: arXiv 2607.08734
저작권자 © STORIUM 무단전재 및 재배포 금지
