중간 희소성 LLM 커널, H100서 SpInfer 대비 최대 1.64배 속도
NUS·저장대 연구진은 H100에서 약 50% 비정형 희소 가중치를 처리해 SpInfer 대비 커널 최대 1.64배, FlashLLM 대비 종단 최대 1.41배 속도를 ...
[태그:] LLM추론
vLLM 설정 9,000회 실험…속도·에너지·정확도 모두 바뀌었다
5개 모델과 5개 작업을 9,000회 반복한 결과, vLLM 설정의 에너지·속도 효과는 모델과 작업별로 달랐다.
GRAPHEVAL 연구진 “추론 일관성 지표, 15개 조건 중 14개서 음의 상관”
GRAPHEVAL 연구진은 그래프 기반 지표가 15개 모델·데이터 조건 중 14개에서 추론 충실도와 음의 상관을 보였다고 보고했다.
구체화 명제 프롬프팅, 지식과 조합 추론의 간극을 좁힌다
질문과 관련된 명제를 먼저 구체적으로 정리해 언어모델이 사실 지식과 논리적 조합을 함께 활용하도록 하는 프롬프팅 기법이다.
라벨 없는 질문으로 추론력 키우는 ‘준지도 CoT 학습’ 제안
AI가 생성한 추론 과정을 학습 신호로 재활용하는 준지도 사고연쇄 학습 기법이 제안됐다.
왓GPU, 처음 보는 GPU도 전력·지연시간 미리 예측
학습 데이터에 없던 GPU·LLM 조합의 추론 전력과 지연시간을 사전 프로파일링 없이 예측하는 모델이 공개됐다.
법률 AI, 여러 에이전트가 토론하면 판단이 달라질까
법정 심리 절차에서 착안한 멀티 에이전트 토론 프레임워크가 법률 추론 과제에서 단일 모델과 다른 답을 내놓는다는 연구 결과가 나왔다.
OpenAI·Broadcom, LLM 추론 전용 ASIC 칩 Jalapeño 공동 발표
OpenAI와 반도체 공급업체 Broadcom이 대규모 언어 모델 추론에 특화된 ASIC 칩 Jalapeño를 발표했다. 9개월에 걸쳐 개발됐으며 현행 데이터센터 칩 대비 ...
DFlash, 블록 단위 투기적 디코딩으로 LLM 추론 속도 최대 6배 향상
UC샌디에이고 z-lab 연구팀이 개발한 DFlash가 토큰 블록 전체를 한 번의 순전파로 생성하는 방식으로 LLM 추론 속도를 기존 대비 최대 6배 ...
NVIDIA Blackwell, DFlash 투기적 디코딩으로 LLM 추론 최대 15배 향상
엔비디아가 블랙웰 GPU에서 DFlash 투기적 디코딩을 활용해 LLM 추론 속도를 최대 15배 끌어올리는 방법을 공개했다. UC샌디에이고 연구팀이 개발한 오픈소스 블록 ...
AWS SageMaker, CloudWatch 통합 AI 추론 모니터링 대시보드 출시…100개 이상 상세 지표 제공
AWS가 SageMaker AI 추론 엔드포인트에 100개 이상의 상세 지표를 제공하는 SageMaker Insights 대시보드를 CloudWatch에 출시했다. GPU 상태, KV 캐시 압력, ...
마인드빔, CPU 기반 LLM 추론 프레임워크 오픈소스 공개…최대 96배 속도 향상
마인드빔이 삼치(ternary) LLM을 표준 CPU에서 고속 실행하는 오픈소스 추론 프레임워크 Litespark-Inference를 공개했다. PyTorch 대비 최대 96배 빠른 처리량을 주장한다.
