TWLA, LLM 삼진 가중치·4비트 활성화 동시 압축으로 추론 가속 실현
LLM의 배포 비용을 낮추기 위한 훈련 후 양자화(PTQ) 프레임워크 TWLA가 가중치를 1.58비트로, 활성화를 4비트로 압축하면서도 정확도를 유지하는 방법을 제안했다.
[태그:] LLM
MemRefine, LLM 에이전트 장기 메모리를 고정 예산 안에서 관리하는 프레임워크 제안
장기 대화 축적으로 메모리 저장소가 무한 팽창하는 LLM 에이전트 문제를 해결하기 위해 고정 예산 내 메모리 유지 관리 방식 MemRefine이 ...
LoRA 알파 스케일링 인자, 학습률보다 성능에 더 결정적 영향
LoRA의 스케일링 인자 알파(α)가 학습률과 독립적으로 작용하며 최적 알파가 랭크의 제곱근 법칙을 따른다는 연구 결과가 나왔다.
최적수송(OT) 기반 LLM 환각 탐지, 번역-요약 모델 레이어별 분석
최적수송(OT) 기법으로 신경 기계번역과 추상 요약 모델의 환각을 비지도 방식으로 탐지하는 연구가 발표됐다. 디코더 레이어별 특성 차이가 확인됐다.
AuthorityBench: 가짜 인용도 LLM 환각 높인다…22만 프롬프트 벤치마크
22만 개 프롬프트 규모의 AuthorityBench 연구에서 인용 출처가 존재하면 실제·가짜 여부와 관계없이 LLM의 환각 발생률이 높아진다는 사실이 확인됐다.
MARS, LLM 병렬 추론 테스트타임 토큰 최대 47% 절감하는 조기 중단 기법
병렬 LLM 추론에서 불필요한 연산을 줄이는 MARS 기법이 제안됐다. 정확도 유지하면서 자기 일관성(self-consistency) 토큰을 최대 47% 절감한다.
LLM 에이전트, GNN 도구 출력에 97% 이상 무조건 복종…성능 강할수록 심해져
arXiv 논문은 LLM 에이전트가 그래프 신경망 도구의 출력에 97.6~99.2% 비율로 맹목 복종하며, 백본 모델이 강할수록 복종 경향이 심해진다는 실험 결과를 ...
GitOfThoughts, LLM 추론 기록을 git 저장소로 관리하는 에이전트 메모리 제안
GitOfThoughts는 LLM 에이전트의 추론 과정을 git 저장소로 저장해 재생·비교·병합을 가능하게 한다. 연구팀은 5가지 메모리 방식을 비교한 결과, 유사도 0.8 이상의 ...
LLM, 챗봇에서 디지털 동료로…지속적 자율 AI 패러다임 전환 논문
arXiv 논문은 LLM이 대화형 생성기에서 추론·행동·기억·자기개선이 가능한 통합 AI 시스템으로 전환하는 과정을 인지 핵심과 도구 증강 실행이라는 두 축으로 분석했다.
LLM 에이전트 소통 정책 자동 진화 프레임워크 CPE 제안
LLM 에이전트와 사용자 간 정보 비대칭 문제를 다루는 소통 정책 자동 진화 프레임워크 CPE가 제안됐다. 모델 수정 없이 프롬프트 정제만으로 ...
HarnessX, AI 에이전트 런타임 하네스 자동 진화 프레임워크 제안
AI 에이전트 성능을 결정하는 런타임 하네스를 조합·진화 가능한 구조로 자동 구성하는 HarnessX 프레임워크가 제안됐다. 5개 벤치마크에서 평균 14.5% 성능 향상을 ...
AFFORDANCE20Q, 물리 속성 기반 어포던스 추론 벤치마크 공개
LLM의 물리적 어포던스 추론 능력을 20문답 게임 형식으로 평가하는 벤치마크 AFFORDANCE20Q가 공개됐다. 최신 LLM은 인간 대비 약 20점 격차를 보였다.
