2011년형 NVIDIA Tesla C2075(Fermi, sm_20, 6GB) 한 장에서 현대 멀티모달 비서를 전부 GPU에 올린 작업이 공개됐다. 이 arXiv 프리프린트는 같은 하드웨어에서, 모델이 메모리에 들어가는 경우 무엇을 얼마나 할 수 있는지 묻는다.
구현 대상은 MiniCPM-V-4.6으로, SigLIP2 비전 인코더와 윈도우 어텐션 머저, 그리고 하이브리드 gated-delta-net 언어 백본을 묶은 구조다. 8비트 가중치 기준 언어 백본은 1GB 미만, 비전 타워는 약 2.1GB로, 전체가 상주하며 호스트→디바이스 이동이나 CPU 디코드는 쓰지 않는다.
속도 측면에서는 먼저 행렬곱 경로를 측정했다. 손으로 짠 GEMM은 FP32 피크의 37%였고, CUDA 8.0의 벤더 sgemm은 66%에 도달했다. 이에 따라 8비트 가중치를 한 번 FP32 버퍼로 풀어쓴 뒤 벤더 커널을 호출하는 방식이 채택됐고, 엔드투엔드로는 FP32 피크의 64% 수준을 기록했다. 반면 4비트는 절반의 데이터를 읽어도 니블 언팩 시프트가 절반 속도로 돌아 8비트보다 12% 느렸다.
재귀층은 토큰별 순차 스캔을 청크화한 delta-rule 형식으로 다시 썼다. 첫 버전은 2.4배 느렸지만, 구성요소별 계측으로 잘못된 포워드 서브스티튜션 커널이 드러난 뒤 2.8배 빨라졌다. 표준 해석식과의 비교에서는 호스트 기준 약 3×10−5 상대오차, GPU 구현 기준 약 2×10−5를 확인했고, 여러 길이의 프롬프트에서 탐욕 디코딩 토큰도 동일했다.
비전 쪽은 단계 검증을 전제로 포팅했다. 시그립2 타워, 중간 윈도우 머저, 최종 프로젝터를 sm_20용 CUDA로 옮기고, 로컬에서 만든 참조 forward와 각 단계를 맞춰 갔다. 전체 타워는 요소당 1.4×10−5, 다중 슬라이스 경로는 1.2×10−4까지 일치했다. 한 실패 사례는 위치 임베딩 버킷화가 정확한 유리수 경계에서 다르게 갈린 경우였고, 인덱스 산술의 tie-breaking이 구현 정의임을 보여 준다고 정리했다.
긴 문맥에서는 O(N^2) 병목이 분명해졌다. 순진한 어텐션은 2k 토큰에서 114 tok/s, 10k 토큰에서 21 tok/s로 떨어졌고, 10k 구간 프리필 시간은 479.3초에서 27.7초로 줄었다. 같은 재작성은 2k에서 408.5 tok/s, 10k에서 361.2 tok/s를 보여 주었으며, 10k 문서의 60% 깊이에 심은 needle도 재작성 전후 모두 정확히 회수됐다. 이미지 인코딩은 6배 빨라져 0.93초가 되었고, 최종적으로 이미지 질문 1건을 엔드투엔드 1.7초에 처리했다.
| 항목 | 값 | 근거 위치 |
|---|---|---|
| 플랫폼 | 2011 NVIDIA Tesla C2075, Fermi, sm_20, 6 GB | p.1; p.3 |
| 모델 구성 | MiniCPM-V-4.6: SigLIP2 비전 인코더 + window-attention merger + 0.8B hybrid gated-delta-net | p.1; p.3 |
| 핵심 성능 | GEMM 64% of FP32 peak, hand-written GEMM 37%; chunked scan 2.8× faster; greedy decode 48.6 tok/s | p.1; p.2; p.5; p.6 |
| 긴 문맥 결과 | naive attention 114.2 tok/s at 2k, 20.9 tok/s at 10k; GEMM attention 408.5 tok/s at 2k, 361.2 tok/s at 10k; 10k prefill 479.3s→27.7s | p.2; p.9 |
| 검증 범위 | full tower 1.4×10−5, multi-slice path 1.2×10−4, needle at 60% depth exact retrieval | p.2; p.9 |
자료: STORIUM 정리
이 결과는 오래된 페르미 세대 GPU에서도, 모델이 장치 메모리에 들어가는 경우에는 하드웨어 제약보다 구현과 검증 방식이 성능을 좌우할 수 있음을 보여 준다. 동시에 벤더 커널 활용, 단계별 참조 검증, 긴 문맥에서의 어텐션 재작성 같은 방법이 함께 맞물려야 했다는 점도 분명하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
