NVIDIA BioNeMo, LoRA로 생물학 파운데이션 모델 단일 GPU 파인튜닝 가능
NVIDIA BioNeMo Recipes가 단백질·DNA 언어 모델을 단일 워크스테이션 GPU에서 LoRA로 파인튜닝하는 방법을 공개했다. 파라미터 1% 학습으로 전체 파인튜닝과 동등한 성능을 ...
[태그:] LoRA
약물-질병 관계 적용 조건 자동 추출 AI 연구, 1119쌍 데이터셋 공개
의료 문헌에서 약물이 특정 질병에 치료 효과를 발휘하는 조건을 자동으로 추출하는 NLP 연구가 arXiv에 공개됐다. 약물-질병 관계 쌍 1119건을 수동 ...
고전시 이해 특화 LLM, 베이스라인 대비 9.7% 성능 향상
연구팀이 고전 중국 시가(詩歌) 해석에 특화된 LLM을 개발해 CCL25-Eval Task 5 벤치마크에서 베이스라인 모델 대비 9.7% 성능 향상을 달성했다.
LoRA·NEFTune으로 미세조정한 DeepSeek-R1-8B, 금융 NER 성능 향상
금융 보고서와 뉴스에서 기업명·날짜·금액 같은 개체를 자동으로 추출하는 금융 개체명 인식(NER, Named Entity Recognition) 과제에서 범용 LLM(대규모 언어 모델)은 도메인 ...
LLM 언러닝 새 접근법, 영공간 제약 저랭크 적응으로 원치 않는 지식 정밀 제거
대규모 언어 모델(LLM)에서 유해하거나 불필요한 지식을 선택적으로 제거하는 기술, 이른바 '언러닝(unlearning)' 연구에서 새로운 접근법이 제시됐다. 연구팀은 영공간 제약 응답 지정 ...
GLASS: 강화학습으로 TTS 음향 스타일을 자유롭게 제어하는 프레임워크
연구진이 제로샷 TTS에서 강화학습 기반 LoRA 어댑터로 화자 정체성을 유지하면서 말하기 속도와 피치를 독립적으로 제어하는 GLASS 프레임워크를 제안했다.
BART 모델로 프로그래밍 과제 자동 채점… 루브릭 반영 정확도 향상
연구팀이 트랜스포머 모델 BART와 LoRA 미세조정을 결합해 CS1 C++ 과제를 루브릭 기준으로 자동 평가하는 시스템을 제안했다. 멀티태스크 학습과 경계 기반 ...
약한 모델 쌍 선호도 신호를 LoRA로 합성해 강한 LLM 성능 높이는 PDA 기법
소형 모델 쌍의 약한 선호도 신호 여러 개를 LoRA 병합으로 합산해 대형 LLM을 개선하는 PDA 프레임워크가 arXiv에 공개됐다.
Trajectory, 멀티-LoRA 연속학습 스택 SkyRL 오픈소스 공개… 실험 처리량 2.81배
Trajectory가 UC Berkeley Sky Lab·Anyscale과 공동 개발한 멀티-LoRA 연속학습 스택 C-LoRA를 NovaSky-AI/SkyRL 저장소에 오픈소스로 공개하고, 단일 테넌트 대비 실험 처리량 ...
Trajectory·UC버클리, 멀티-LoRA 연속학습 스택 SkyRL 오픈소스 공개
Trajectory와 UC 버클리 Sky Lab이 멀티-LoRA 동시 학습 스택 SkyRL을 오픈소스로 공개했으며, 단일 기준 대비 실험 처리량이 2.81배 향상됐다.
