MoonMath AI 팀이 AMD MI300X GPU를 위한 bf16 포워드 어텐션(forward attention) 커널을 MIT 라이선스로 오픈소스 공개했다. 이 커널은 HIP 언어로 작성됐으며, AMD 자체 최적화 커널인 AITER v3를 모든 테스트 형상(shape)과 세 가지 반올림 모드(RTNE·RTNA·RTZ)에서 능가한 것으로 보고됐다. 벤치마크상 기하 평균 성능 향상은 RTNE 기준 1.18배, RTNA 1.15배, RTZ 1.08배이며, 특정 형상(B=2, H=24, S=16384)에서는 최대 1.26배의 속도 향상을 기록했다. 커널은 AMD CDNA3 데이터센터 GPU 아키텍처(ISA gfx942)에서만 작동하며, HotAisle의 AMD 클라우드 환경에서 실측됐다.
성능 향상의 핵심은 메모리 배치 전략이다. K 행렬은 LDS(Local Data Share)에서 이중 버퍼링으로 스트리밍하고, V 행렬은 L1 캐시에 상주시켜 매 PV 행렬 곱셈 때마다 재사용되도록 했으며, Q 행렬과 어큐뮬레이터는 레지스터(VGPR)에 보관한다. 파이프라이닝 구조는 한 CDNA3 컴퓨팅 유닛의 4개 SIMD를 활용하는 8웨이브 2그룹 방식을 채택해, 한 그룹이 행렬 코어를 사용하는 동안 다른 그룹은 소프트맥스 연산과 데이터 로드를 수행하며 교번한다. 이를 통해 행렬 코어가 유휴 상태 없이 연속 가동된다. 또한 하나의 인라인 어셈블리 명령어만 래핑하는 방식으로 컴파일러가 레지스터를 자동 배분하면서 개발자가 특정 오피코드를 직접 지정할 수 있게 했다.
실용성은 실제 프로젝트를 통해 검증됐다. MoonMath 팀은 SGLang 디퓨전 리포지터리에 직접 풀 리퀘스트를 제출해 Wan2.1 텍스트-영상 변환 모델의 어텐션 연산을 AITER에서 이 커널로 교체했고, MI300X에서 엔드투엔드 영상 생성 속도가 화질 저하 없이 1.23배 향상됐다. 커널은 pip으로 설치할 수 있으며, BSHD·BHSD 레이아웃을 지원하고 크로스 어텐션에도 적용 가능하다. 다만 현 버전은 인과 마스크(causal mask), 그룹 쿼리 어텐션(GQA), 가변 길이 배치(varlen batching)를 지원하지 않으며, 헤드 차원은 128로 고정돼 있다.
이번 공개는 엔비디아 GPU 중심의 AI 가속 생태계에서 AMD 하드웨어 최적화 저변을 넓히려는 시도라는 점에서 주목된다. AMD MI300X는 대용량 HBM 메모리로 추론 워크로드에서 경쟁력을 갖추고 있지만, 소프트웨어 생태계 성숙도에서 CUDA 대비 격차가 있다는 평가를 받아왔다. 오픈소스 커널 공개는 커뮤니티 기반 소프트웨어 최적화 생태계를 확충하는 데 기여할 수 있으며, 특히 영상 생성·대형 언어 모델 추론 등 어텐션 연산 비중이 높은 워크로드에서의 AMD GPU 도입을 촉진할 것으로 기대된다.
