DPO, 챗봇 정렬 너머 OCR 모델 오류 59% 줄였다
Dharma AI팀이 OCR 모델의 텍스트 반복 오류를 DPO로 평균 59% 줄이며 비대화형 작업에서의 적용 가능성을 입증했다.
[태그:] DPO
LFM2 모델, QLoRA·DPO 결합 파인튜닝 전체 코드 공개
Liquid AI의 LFM2 모델을 QLoRA로 경량화하고, SFT와 DPO 단계를 거쳐 선호도 정렬까지 완료하는 전체 파인튜닝 파이프라인이 Google Colab 환경에서 공개됐다.
