아마존 SageMaker, P-EAGLE로 LLM 추론 속도 최대 1.69배 향상
AWS가 개발한 P-EAGLE이 아마존 SageMaker JumpStart에 탑재됐다. 추측 디코딩을 완전 병렬화해 EAGLE-3 대비 최대 1.69배 처리량을 높인다.
[태그:] LLM추론
LLM 강화학습서 추론과 암기 탐색을 분리하는 DiRL 제안
LLM(대규모 언어 모델) 강화학습에서 새로운 탐색 궤적이 진정한 추론 향상에서 비롯된 것인지, 아니면 암기된 패턴의 변형에서 비롯된 것인지를 구분하는 방법론 ...
GaussTrace, LLM 추론으로 3D 가우시안 스플래팅 출처 계보 추적
3DGS 모델 간 수정·파생 관계를 방향성 출처 그래프로 시각화하는 GaussTrace 프레임워크가 제안됐다.
AdaPLD: 어휘·의미 결합으로 추론 속도 3.1배 가속
AdaPLD는 어휘 매칭과 의미 유사도를 함께 활용해 추가 모델 없이 LLM 생성 속도를 높이는 투기적 디코딩 방법으로, 최대 3.10배의 속도 ...
RAG 서빙 속도 높이는 QCFuse, 압축 뷰 기반 캐시 융합 기법 제안
QCFuse는 쿼리 인식 압축 뷰를 활용해 RAG 프리필 속도를 전체 프리필 대비 평균 1.7배 단축하면서도 동등한 품질을 달성한 캐시 융합 ...
2비트 추론 모델 양자화 실패 원인 분석과 정확도 회복 기법 제시
2비트 양자화된 추론 모델이 반복 루프와 추론 중단으로 오히려 토큰 수를 늘린다는 문제를 규명하고, 루프 구제와 FP16 계획으로 정확도를 대폭 ...
훈련 없이 수학 추론 정확도 높이는 청크 가이드 생성법
소형 LLM의 수학 추론 과정을 대형 LLM이 단계별로 유도하는 청크 수준 가이드 생성 기법이 별도 보상 모델 훈련 없이 기존 ...
오픈AI AI 모델, 80년 된 수학 난제 ‘에르되시 단위거리 추측’ 반증
오픈AI의 내부 AI 모델이 이산기하학의 80년 된 미해결 난제인 에르되시 단위거리 추측을 자율적으로 반증해 수학계의 주목을 받았다. 필즈 메달 수상자 ...
엔비디아 DynoSim, LLM 서빙 설정 수천 종 초고속 시뮬레이션
엔비디아가 Dynamo LLM 서빙 스택의 디지털 트윈 시뮬레이터 DynoSim을 공개했다. 실제 시간 대비 약 1,500배 빠른 속도로 최적 배포 구성을 ...
엔비디아 블랙웰, 금융 LLM 추론 STAC-AI 벤치마크 신기록 수립
엔비디아 블랙웰 HGX B200이 금융 업계 표준 STAC-AI LANG6 벤치마크에서 이전 세대 대비 최대 2.8배 높은 LLM 추론 성능을 기록했다.
NVIDIA, 쿠버네티스 LLM 추론 콜드스타트 단축하는 Dynamo Snapshot 공개
NVIDIA Dynamo Snapshot이 체크포인트·복원 방식으로 쿠버네티스 환경의 LLM 추론 워크로드 콜드스타트 시간을 대폭 단축한다.
