[태그:] PEFT

Liquid AI의 LFM2 모델을 QLoRA로 경량화하고, SFT와 DPO 단계를 거쳐 선호도 정렬까지 완료하는 전체 파인튜닝 파이프라인이 Google Colab 환경에서 공개됐다.