SAM 파인튜닝으로 쓰레기 분할 정확도 30포인트 이상 향상
메타 AI의 SAM을 쓰레기 분할 데이터셋으로 파인튜닝한 결과, IoU 지표가 30포인트 이상 향상되며 기존 최고 수준을 뛰어넘었다.
[태그:] 파인튜닝
파인튜닝 후에도 안전성 유지하는 재사용 가능 어댑터 SafeGene 제안
오픈 가중치 LLM을 파인튜닝하면 안전 정렬이 약해지는 문제를 해결하는 SafeGene 방법론이 arXiv에 공개됐다. 안전 능력을 재사용 가능한 어댑터로 추출해 여러 ...
SFT·DPO 결합으로 소형 모델 툴 호출 정확도 30% 향상
AWS가 SFT와 DPO를 결합해 소형 언어 모델의 툴 호출 정확도를 30% 끌어올리는 파인튜닝 방법론을 공개했다.
AWS, Nova Forge 파인튜닝 하이퍼파라미터 최적화 지침 공개
AWS가 Amazon Nova Forge에서 도메인 특화 파인튜닝 시 학습률, 배치 크기, 체크포인팅 등 핵심 하이퍼파라미터 설정 방법을 공개했다.
LFM2 모델, QLoRA·DPO 결합 파인튜닝 전체 코드 공개
Liquid AI의 LFM2 모델을 QLoRA로 경량화하고, SFT와 DPO 단계를 거쳐 선호도 정렬까지 완료하는 전체 파인튜닝 파이프라인이 Google Colab 환경에서 공개됐다.
LLM, 거짓 경고에도 허위 진술 사실로 받아들인다
LLM이 거짓이라는 명시적 경고가 붙은 학습 데이터에서도 허위 진술을 사실처럼 흡수한다는 연구가 나왔다.
“규모보다 특화”… 30억 매개변수 모델이 프런티어 API 앞섰다
특화 미세조정한 30억 매개변수 모델이 모든 상용 프런티어 API를 앞섰다는 벤치마크가 AI 조달 공식을 흔들고 있다.
