대규모언어모델을 여러 과업에 차례로 맞추는 과정에서는 새 학습이 이전 능력을 덮어쓰는 문제가 생긴다. LoRA 계열 기법은 동결된 같은 가중치 위에 저랭크 갱신을 계속 쌓기 때문에 이런 간섭에서 자유롭지 않다. Wentao Lu가 공개한 ReCoLoRA는 어댑터를 단순히 추가하는 대신, 모델이 지금까지 흡수한 변화를 다음 학습의 출발점으로 삼는 연속 미세조정 프레임워크다. 논문은 2026년 7월 4일 제출된 arXiv 프리프린트다.
핵심은 스펙트럼을 살펴 층마다 필요한 용량을 정하고 가중치를 반복해서 재구성하는 데 있다. 먼저 사전학습 가중치의 무작위 특잇값 분해로 어댑터를 초기화하고, 엘보 기준으로 층별 유효 랭크를 선택한다. 주성분 부분공간을 우선 적응시킨 뒤 남은 용량을 연다. 새 과업으로 넘어가기 전에는 원래 가중치가 아니라 현재의 유효 가중치를 다시 분해해 동결 잔차, 천천히 갱신되는 주성분, 새 어댑터로 나눈다.
연구진은 네 종류의 70억~80억 매개변수 백본에서 여섯 과업으로 구성한 연속 GLUE 순서를 평가했다. ReCoLoRA는 랭크를 조정한 LoRA, PiSSA, AdaLoRA, DoRA와 비교해 네 백본 중 세 곳에서 최종 평균 점수가 가장 높았고, 학습하는 매개변수도 더 적었다고 보고한다. 과업별 어댑터를 완전히 분리하고 정답 라우팅을 쓰는 변형은 현실적 배치안이라기보다 과업 격리 시 가능한 상한선으로 제시됐다.
이 결과는 하나의 모델을 순차적으로 전문화해야 하는 환경에서 어댑터 관리 자체가 기억 보존의 중요한 설계 변수가 될 수 있음을 보여준다. 다만 결론은 특정 크기의 네 백본과 여섯 GLUE 과업 순서에서 얻은 프리프린트 결과다. 더 긴 과업열, 생성 과업, 실제 서비스 데이터에서도 같은 이점이 유지되는지는 초록에서 확인되지 않는다. 코드 링크가 제시됐지만 폭넓은 재현 검증과 동료평가는 별도로 필요하다.
원문: arXiv 2607.07719
저작권자 © STORIUM 무단전재 및 재배포 금지
