스타트업 Subquadratic, 희소 어텐션 LLM SubQ 공개…속도 56배·비용 300분의 1 주장
마이애미 기반 AI 스타트업 Subquadratic이 트랜스포머의 밀집 어텐션 병목을 해결했다고 주장하는 LLM SubQ를 공개했다. 독립 기관 평가에서 플래시어텐션 대비 56배 ...
[태그:] 트랜스포머
오픈AI, IPO 앞두고 구글 딥마인드 레전드 노암 샤지어 영입…정책팀도 신설
오픈AI가 기업공개(IPO)를 앞두고 '어텐션 이즈 올 유 니드' 논문 공저자 노암 샤지어와 전 트럼프 행정부 AI 정책관 딘 볼을 연이어 ...
xFormers로 메모리 효율적인 트랜스포머 구현하기…GQA·ALiBi·SwiGLU 통합
메모리 효율 어텐션 라이브러리 xFormers를 활용해 긴 시퀀스를 처리하는 트랜스포머를 구현하는 방법이 공개됐다. 패킹 시퀀스, 그룹 쿼리 어텐션, ALiBi 편향, ...
트랜스포머 최적화, 레이어마다 다른 가중치 공간 기하학 구조 확인
새 연구가 트랜스포머 어텐션 레이어와 MLP 레이어는 최적화에 적합한 다양체(manifold) 기하학이 서로 다르며, 이를 모듈별로 구분 적용해야 성능이 향상된다는 점을 ...
그로킹 트랜스포머, 회로 동기화가 일반화에 선행한다는 인과 증거 제시
트랜스포머의 그로킹 현상에서 푸리에 회로 동기화가 일반화보다 앞서 발생하며, 정규화 강도에 따라 그 간격이 줄어든다는 인과 증거가 제시됐다.
트랜스포머로 개방형 공정 스케줄링 푼다…DRL 기반 학습 정책 제안
트랜스포머(Transformer) 기반 심층 강화학습으로 개방형 공정 스케줄링 문제(OSSP)를 풀고, 소규모 훈련 인스턴스로 대규모 문제에 일반화하는 연구가 공개됐다.
토큰 중요도 적응형 동적 선형 어텐션, 장문맥 LLM 성능 개선
토큰별 중요도에 따라 메모리 상태 경계를 동적으로 결정하는 DLA 프레임워크가 제안됐다. 16개 데이터셋 평가에서 기존 방식을 능가했다.
트랜스포머가 침입 탐지에 실제로 유리한가 — 평가 방법론이 결과 좌우한다
패딩 방식과 데이터 분할 프로토콜이 트랜스포머 침입 탐지 성능을 최대 매크로-F1 0.24 차이로 만든다는 연구 결과가 나왔다. 아키텍처보다 평가 방법론이 ...
삼각 어텐션으로 구름 제거 문제 푼 원격탐사 AI 모델 ATT-CR 제안
원격탐사 위성 이미지에서 구름을 제거하는 AI 모델 ATT-CR이 제안됐다. 삼각 행렬 기반 어텐션으로 연산 복잡도를 낮추고 구름 픽셀의 간섭도 줄였다.
뇌 기반 파운데이션 모델, 3차 통계 결여가 인지 예측 성능 저하 원인
fMRI 데이터로 사전학습된 뇌 파운데이션 모델이 인지 능력 예측에서 단순 선형 회귀보다 못한 이유를 3차 통계 정보 손실로 규명한 연구가 ...
트랜스포머 QKV 중 두 개 공유해도 성능 유지, KV 캐시 87% 절감 가능
트랜스포머의 쿼리·키·밸류 투영 중 일부를 공유해도 성능이 유지되며, Q-K=V 방식은 KV 캐시를 50% 줄이면서 언어 모델 복잡도 저하가 3.1%에 그친다는 ...
비계측 유역 수문 예측, LSTM이 트랜스포머보다 우위
arXiv 논문이 비계측 유역의 상류 유량 추론 과제에서 LSTM이 인코더 전용 트랜스포머보다 전반적으로 우수하다는 실험 결과를 보고했다. 하류 수문 정보 ...
