강력한 대규모 언어 모델(LLM)을 훈련하려면 고품질 감독 데이터가 필요하지만 이는 종종 부족하다. 최근 연구는 소형·초소형 모델 쌍(예: Qwen3 4B와 1.7B)의 상대적 품질 차이, 즉 ‘약한 신호’도 유효한 감독 신호가 될 수 있음을 보여줬다. 이 아이디어를 확장해 여러 약한 신호를 집적함으로써 더 큰 모델(예: Qwen3 8B)의 성능을 끌어올릴 수 있는지를 탐구한 논문이 arXiv(2606.00357)에 게재됐다.
연구팀이 제안한 선호 델타 집적(PDA, Preference Delta Aggregation) 프레임워크는 세 단계로 구성된다. 각 약한-초소형 모델 쌍에서 선호 델타를 추출하고, 이를 선호 최적화를 통해 학습한 LoRA 어댑터로 구현한 뒤, 여러 어댑터를 LoRA 병합(merging)으로 집합시킨다. 이 과정에서 LoRA 병합 시 발생하는 방향 간섭 문제를 완화하기 위해 기하학적 정렬 병합(GAM, Geometric Alignment Merging) 방법도 함께 제안했다. GAM은 집합 전에 어댑터 부분 공간을 정렬해 다양한 델타들의 합성을 더 강건하게 만든다.
지식 추론 및 에이전트 검색 벤치마크에서 PDA와 GAM을 결합한 결과, 강한 모델의 지식 추론 능력이 평균 6.8포인트, 에이전트 검색 능력이 7.3포인트 향상됐다. 단일 델타 기준선과 다중 델타 기준선 모두를 상회했으며, 최고 성능 단일 델타 기준선 대비 각각 2.1포인트와 4.3포인트를 추가로 앞섰다. 약한 신호가 많아질수록 성능 향상이 누적되는 것도 확인됐다. 데이터·계산 자원이 제한된 환경에서 기존 소형 모델들을 활용해 대형 모델의 능력을 확장하는 실용적 방향을 제시했다는 점에서 의미 있는 연구다.
저작권자 © STORIUM 무단전재 및 재배포 금지
