MIT·Thorn, 불법 CSAM 이미지 생성 없이 위험 모델 개조 탐지
MIT·Thorn 연구진이 결과물을 생성하지 않고 LoRA 내부 반응으로 불법 CSAM 생성용 개조를 가려내는 감사법을 제시했다.
[태그:] LoRA
의료 훈련 행동 인식에 LoRA 단계별 멀티모달 융합을 적용한 예비 연구
골격·영상·음성 텍스트·센서를 순차 결합해 새 모달리티 추가 시 앞단을 다시 학습하지 않는 경량 구조를 시험했다.
Wan-Dancer 음악-춤 생성, 720p·30fps 장시간 영상과 평가 점수 공개
Wan-Dancer가 음악·텍스트·참고 이미지를 조건으로 720p·30fps 춤 영상을 1분 넘게 생성한 실험과 평가를 공개했다.
프라임 인텔렉트, 1.3억 달러 유치…AI 훈련 플랫폼 몸값 10억 달러
AI 훈련 스타트업 프라임 인텔렉트가 엔비디아·인텔·델 등에서 1.3억 달러를 유치하며 기업가치 10억 달러를 인정받았다.
저랭크 어댑터를 재귀 통합한 연속 미세조정 기법 ReCoLoRA
현재 유효 가중치를 다시 분해해 새 과업 학습의 출발점으로 쓰는 연속 미세조정 기법이다.
LoRA 파인튜닝 오염 막는 부분공간 제약 기법 등장
연구진이 신뢰된 어댑터 풀에서 추출한 부분공간으로 파인튜닝을 제한해 백도어 공격을 막는 기법을 제시했다.
구글 튜닉스로 젬마3 수학 추론 훈련…GRPO·LoRA 결합 튜토리얼 공개
구글의 JAX 기반 강화학습 라이브러리 튜닉스로 젬마3에 수학 추론 능력을 훈련시키는 전체 파이프라인이 공개됐다.
저사양 GPU서 비전 모델 미세조정, 적응형 체크포인팅으로 메모리 79% 절감
연구진이 소비자용 GPU 환경에서 비전 모델을 효율적으로 미세조정하는 PEFT 기법과 적응형 체크포인팅 전략을 비교 분석했다.
User as Engram, LLM 사용자별 메모리를 LoRA보다 3.3만 배 작게 저장
언어 모델에 사용자별 기억을 저장할 때 LoRA 어댑터 대신 해시 기반 국소 파라미터 편집 방식인 Engram을 사용하면 메모리 발자국을 약 ...
LoRA 알파 스케일링 인자, 학습률보다 성능에 더 결정적 영향
LoRA의 스케일링 인자 알파(α)가 학습률과 독립적으로 작용하며 최적 알파가 랭크의 제곱근 법칙을 따른다는 연구 결과가 나왔다.
PRISMR: 멀티모달 리스트와이즈 랭킹의 파스 붕괴 문제 해결 프레임워크
생성형 대규모 멀티모달 모델의 리스트와이즈 랭킹에서 후보를 누락하는 '파스 붕괴' 문제를 해결하는 PRISMR 프레임워크가 발표됐다.
VLM 좌표 목록 파인튜닝, 반복 출력 제어 가능한 간섭 표면 형성
시각-언어 모델에 밀집 좌표 목록 파인튜닝을 적용하면 시각 기초 능력이 크게 향상되지만 구조화 출력 반복 문제가 동반되며, 이를 통제할 수 ...
