세포 대신 연결선을 본 HOCT, 400개 주석으로 추적 오류 59% 감소
후보 연결선을 어텐션 토큰으로 삼은 세포 추적기는 분열 계보를 다루고 소량의 사람 교정 주석에서도 큰 오류 감소를 보였다.
[태그:] 트랜스포머
RTX 3060 한 장에서 신경망 구조를 찾는 트랜스포머·벌떼 탐색
트랜스포머 강화학습과 인공 벌 군집 탐색을 결합해 약 3시간(약 192분)에 소형 신경망 구조를 찾는 NAS 실험을 제시했다.
전역 선형 주의와 국소 혼합 결합한 PDE 트랜스포머 LLT
LLT가 선형 전역 어텐션과 국소 공간 혼합을 결합해 여러 격자의 편미분방정식 연산자 학습을 가속했다.
데이터가 RoPE 주파수 사용을 좌우한다…긴 문맥 일반화 원리 규명
회전 위치 임베딩(RoPE)의 주파수를 모델이 왜 특정 대역만 편중해 쓰는지, 그 원리를 학습 데이터의 의존 구조로 설명한 연구가 arXiv에 공개됐다.
작은 입력으로 배운 모델, 큰 입력에도 통할까…샘플링으로 크기 넘는 학습
입력 크기가 제각각인 모델이 작은 예제로 배워 큰 입력까지 일반화하는 문제를 랜덤 샘플링이라는 하나의 틀로 다룬 arXiv 이론 논문이 공개됐다.
트랜스포머 ‘선형화’의 열쇠…어떤 요소가 품질 지키나 분석 공개
긴 문맥 처리의 병목인 어텐션의 이차 비용을 낮추는 트랜스포머 선형화에서, 어떤 설계가 품질을 지키는지 분석한 연구가 arXiv에 공개됐다. 최대 32B ...
강화학습은 밑천을 부풀리기만 할까…추론 전략을 새로 ‘조립’한다는 증거
완전히 관측 가능한 재작성 문법 환경에서 강화학습 후처리가 기본 모델의 단순 기술을 새로운 상위 전략으로 조립해낸다는 것을 보인 arXiv 논문이 ...
엔비디아, 트랜스포머 저정밀도 학습 최적화 벤치마킹 기법 공개
엔비디아가 FP8·NVFP4 등 저정밀도 포맷의 실제 학습 속도 향상을 정확히 측정하는 벤치마킹 방법을 공개했다.
Allen AI DiScoFormer, 100차원 밀도·스코어 추정 오차 KDE 대비 최대 37배 감소
Allen AI가 밀도(density)와 스코어(score)를 단일 순전파로 동시 추정하는 트랜스포머 DiScoFormer를 공개했다. 100차원에서 KDE 대비 스코어 오차 약 6.5배, 밀도 오차 ...
하이브리드 언어 모델, 의미 담은 토큰을 더 잘 예측한다
앨런AI연구소가 트랜스포머와 하이브리드 모델을 토큰 단위로 비교한 결과, 하이브리드는 명사·동사 등 의미를 담은 토큰에서 강했고 단순 반복 토큰에서는 우위가 사라졌다.
하이브리드 LLM, 의미어 예측은 트랜스포머 앞서지만 반복 패턴은 열세
앨런 AI 연구소(Allen Institute for AI, Ai2) 연구팀이 하이브리드 언어 모델이 순수 트랜스포머(Transformer) 대비 어떤 토큰을 더 잘 예측하는지 토큰 ...
IEEE, LLM 전문가 양성 온라인 5과정 출시…엔지니어 실무 역량 강화
IEEE가 LLM(대규모 언어 모델) 기술 전문가 양성을 위한 5개 과정 온라인 교육 프로그램을 공개했다. 트랜스포머 아키텍처부터 실전 배포까지 엔지니어 대상 ...
