LoRA 파인튜닝 오염 막는 부분공간 제약 기법 등장
연구진이 신뢰된 어댑터 풀에서 추출한 부분공간으로 파인튜닝을 제한해 백도어 공격을 막는 기법을 제시했다.
[태그:] 파인튜닝
Amazon Nova 파인튜닝으로 이메일 데이터 추출 정확도 94.77% 달성
AWS가 Amazon SageMaker AI와 Nova 모델 파인튜닝을 통해 이메일 데이터 추출 정확도를 최대 94.77%까지 높이는 방법을 공개했다. 비용은 절반으로 줄고 ...
NVIDIA NeMo AutoModel, MoE 모델 파인튜닝 속도 최대 3.7배 향상…API 호환 유지
NVIDIA가 허깅페이스 Transformers v5 위에 구축한 NeMo AutoModel이 MoE 모델 파인튜닝에서 기존 대비 최대 3.7배 높은 처리량과 32% 적은 GPU ...
ARIADNE, 추가 학습 없이 최적 어댑터 자동 선택하는 라우팅 프레임워크
단일 백본에 다수의 태스크 특화 어댑터를 연결하는 PEFT 환경에서 추가 학습 없이 최적 어댑터를 동적으로 선택하는 ARIADNE 프레임워크가 제안됐다. Llama ...
LoRA 알파 스케일링 인자, 학습률보다 성능에 더 결정적 영향
LoRA의 스케일링 인자 알파(α)가 학습률과 독립적으로 작용하며 최적 알파가 랭크의 제곱근 법칙을 따른다는 연구 결과가 나왔다.
VLM 좌표 목록 파인튜닝, 반복 출력 제어 가능한 간섭 표면 형성
시각-언어 모델에 밀집 좌표 목록 파인튜닝을 적용하면 시각 기초 능력이 크게 향상되지만 구조화 출력 반복 문제가 동반되며, 이를 통제할 수 ...
NVIDIA BioNeMo, LoRA로 생물학 파운데이션 모델 단일 GPU 파인튜닝 가능
NVIDIA BioNeMo Recipes가 단백질·DNA 언어 모델을 단일 워크스테이션 GPU에서 LoRA로 파인튜닝하는 방법을 공개했다. 파라미터 1% 학습으로 전체 파인튜닝과 동등한 성능을 ...
엔비디아 AI 팩토리, 기존 데이터센터와 다른 이유
엔비디아가 추진하는 AI 팩토리는 모델 훈련 중심 데이터센터와 달리 대량 배포와 파인 튜닝에 특화된 구조로, 젠슨 황 CEO가 SK그룹과 5GW급 ...
고전시 이해 특화 LLM, 베이스라인 대비 9.7% 성능 향상
연구팀이 고전 중국 시가(詩歌) 해석에 특화된 LLM을 개발해 CCL25-Eval Task 5 벤치마크에서 베이스라인 모델 대비 9.7% 성능 향상을 달성했다.
파인튜닝으로 손상된 LLM 안전성, 추론 시점에 복원하는 기법 등장
연구팀이 도메인 파인튜닝으로 안전성이 저하된 LLM에 추론 시점 안전 정렬을 전이하는 훈련 불필요 기법 ALIGNBEAM을 발표했다. 어휘 체계가 다른 모델 ...
합성 근거 데이터로 미세 조정하면 임상 예측 성능 오히려 하락
합성 근거(rationale) 데이터로 언어 모델을 지도 미세 조정(SFT, Supervised Fine-Tuning)하면 임상 예측 과제 성능이 향상될 것이라는 통념에 반하는 연구 결과가 ...
LoRA·NEFTune으로 미세조정한 DeepSeek-R1-8B, 금융 NER 성능 향상
금융 보고서와 뉴스에서 기업명·날짜·금액 같은 개체를 자동으로 추출하는 금융 개체명 인식(NER, Named Entity Recognition) 과제에서 범용 LLM(대규모 언어 모델)은 도메인 ...
