하나의 기반 모델에 여러 태스크 특화 어댑터를 결합하는 PEFT(파라미터 효율적 미세조정, Parameter-Efficient Fine-Tuning) 환경에서 추가 학습 없이 입력 쿼리에 가장 적합한 어댑터를 자동으로 선택하는 라우팅 프레임워크가 arXiv에 공개됐다. 연구진이 제안한 ARIADNE는 어댑터 내부에 접근하거나 별도의 라우터를 훈련시킬 필요 없이 작동한다는 점이 핵심 특징이다. 태스크 레이블이 없는 쿼리가 들어올 때 이미 존재하는 어댑터 풀에서 어떤 것을 써야 하는지를 자동으로 판단하는 것이 이 연구의 목표다.
ARIADNE의 작동 방식은 각 어댑터의 학습 데이터 임베딩에서 추출한 대표점(centroids) 집합으로 어댑터를 표현하고, 레이블 없는 입력이 들어오면 잠재 공간에서 이 대표점들과의 근접도를 측정해 어댑터를 선택하는 방식이다. 라우팅이 전적으로 입력 임베딩 공간에서 이뤄지기 때문에 임의의 PEFT 기법과 호환되며, 어댑터 자체나 학습 절차를 수정할 필요가 없다. Llama 3.2 1B Instruct 모델을 기반으로 23개 다양한 NLP 태스크에서 평가한 결과 상한선 성능의 97.44%를 회복했다. 태스크 수를 44개로 늘린 확장 실험에서는 평균 89.7% 선택 정확도를 달성했다.
이 연구가 주목받는 배경에는 PEFT 어댑터 생태계의 성장이 있다. 단일 백본에 수십 개 이상의 특화 어댑터가 축적되는 상황에서 새 어댑터가 추가될 때마다 라우터를 재학습해야 하는 기존 방식은 확장성이 제한된다. ARIADNE는 새 어댑터가 추가돼도 해당 어댑터의 학습 데이터 임베딩 대표점만 계산하면 되므로, 어댑터 풀이 커질수록 실용적인 이점이 커진다.
거대 언어 모델을 다양한 도메인에 특화시키는 어댑터 기반 배포가 확산되는 추세에서, ARIADNE처럼 추가 학습 없이 동적 어댑터 선택을 지원하는 프레임워크는 운영 비용 절감과 시스템 확장성 측면에서 실용적 가치가 높다. 어댑터 수가 늘어날수록 라우팅 정확도가 다소 낮아지는 한계는 후속 연구 과제로 남아 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
