이 논문은 학습 가능한 모수를 극도로 줄여 대형 언어모델을 새 텍스트 분류 과제로 적응시키는 방법을 다룬다. COLM 2026에 실린 프리프린트로, 핵심 제안은 Attention Head Reweighting(AHR)이다. 각 어텐션 헤드마다 스칼라 하나만 학습해 헤드의 기여도를 다시 가중하고, 이를 통해 적은 표본 환경에서의 과적합을 줄이려는 접근이다.
검증은 공개 텍스트 분류 데이터셋들에서 이뤄졌다. p.2와 p.7의 결과에 따르면, 훈련 데이터가 매우 적은 조건(≤100개)에서 AHR는 LoRA 같은 표준 기준선보다 평균 약 3%포인트 높은 성능을 보였고, 저데이터 구간(|Dtrain| ≤30)에서는 평균 2~4%포인트 절대 향상을 보였다. 전체적으로는 200~1000배 더 적은 trainable parameters를 쓰면서도, AHR가 모델 파라미터의 약 0.0001%만 수정한다고 보고했다.
표 2는 데이터셋별 수치를 제시한다. SST2에서 AHR는 10개 표본일 때 91.01%로 LoRA 88.32%, AdaLoRA 87.43%, IA3 88.75%를 앞섰다. Web에서는 10개 표본에서 79.44%로 LoRA 66.81%, AdaLoRA 73.60%, IA3 60.47%보다 높았다. Jailbreak에서도 10개 표본에서 79.68%를 기록해 LoRA 69.59%, AdaLoRA 72.33%, IA3 72.94%를 넘어섰다.
반면 데이터가 늘면 차이는 줄어든다. p.5는 약 100개 샘플 부근에서 성능이 비슷해지기 시작한다고 설명한다. 표 2의 평균값도 이를 뒷받침한다. 10개 표본에서 평균 정확도는 AHR 74.95%, LoRA 68.27%, AdaLoRA 71.22%, IA3 67.88%였고, 100개 표본에서는 AHR 82.68%, LoRA 83.05%, AdaLoRA 82.70%, IA3 81.27%로 격차가 좁아졌다.
이 방법은 해석 가능성도 강조한다. p.9와 p.16에서는 일부 헤드의 β를 수동으로 바꾸어 평균 정확도 변화를 살펴봤고, 두 헤드를 완전히 비활성화하면 70.68%에서 66.81%로 떨어지며, 영향을 두 배로 키우면 71.67%로 올라갔다고 보고한다. 또 L15H14 같은 헤드는 여러 데이터셋에 걸쳐 조정되지만, 다른 헤드는 특정 데이터셋에서만 조정되는 양상이 관찰됐다. 이는 적은 표본 학습에서 어떤 헤드가 기여하는지 추적할 수 있음을 시사한다.
| Dataset | |Dtrain|별 정확도(대표 기준선과 AHR) | source_locator |
|---|---|---|
| SST2 | 10: LoRA 88.32%, AdaLoRA 87.43%, IA3 88.75%, AHR 91.01%; 100: AHR 92.99% | p.7 Table 2 |
| Web | 10: LoRA 66.81%, AdaLoRA 73.60%, IA3 60.47%, AHR 79.44%; 100: AHR 87.35% | p.7 Table 2 |
| Jailbreak | 10: LoRA 69.59%, AdaLoRA 72.33%, IA3 72.94%, AHR 79.68%; 100: AHR 92.83% | p.7 Table 2 |
| Average | 10: LoRA 68.27%, AdaLoRA 71.22%, IA3 67.88%, AHR 74.95%; 100: LoRA 83.05%, AdaLoRA 82.70%, IA3 81.27%, AHR 82.68% | p.7 Table 2 |
자료: STORIUM 정리
이 연구의 검증 범위는 어디까지나 6개 공개 텍스트 분류 데이터셋과 표에 제시된 few-shot 설정에 한정된다. 성능 향상은 내부 실험 기준이며, 다른 과제나 배포 환경으로의 일반화는 카드에 없다. 그럼에도 이론적 논쟁보다 실제 저표본 분류 성능과 파라미터 절감 폭을 함께 보여준 점이 눈에 띈다.
저작권자 © STORIUM 무단전재 및 재배포 금지
