NVIDIA가 파이썬 환경에서 타일(tile) 기반 GPU 커널을 직접 작성할 수 있는 인터페이스 cuTile을 공개했다. cuTile은 CUDA 스타일의 저수준 GPU 연산을 파이썬 코드로 표현할 수 있도록 설계된 라이브러리로, NVIDIA 드라이버 R580 이상과 CUDA 툴킷(CUDA Toolkit) 13.1 이상 환경에서 작동한다. PyPI에서 cuda-tile 패키지명으로 설치할 수 있으며, 해당 런타임 조건이 충족되지 않으면 PyTorch 폴백(fallback) 경로로 자동 전환돼 동일한 코드 구조를 유지할 수 있다.
cuTile의 핵심 추상화 단위는 타일이다. 텐서를 일정 크기의 블록으로 나눠 각 타일 단위로 로드·연산·저장하는 방식으로 GPU 메모리 접근 패턴을 직접 제어한다. 벡터 덧셈에서는 직접 타일 로드 방식과 gather/scatter 인덱싱 방식을 모두 지원하고, 행렬 덧셈에서는 경계 조건이 있는 불균등 크기 행렬도 패딩 처리로 안전하게 다룬다. 행렬 곱셈 커널에서는 누산기 타일을 반복 갱신하는 루프 구조로 텐서코어(Tensor Core) 활용이 가능한 tfloat32 및 float16 연산을 지원한다.
cuTile은 타일 단위 프로그래밍을 통해 파이썬 수준의 접근성과 CUDA 수준의 제어력을 함께 제공한다는 점이 특징이다. 타일 크기(TILE, TILE_M, TILE_N, TM, TN, TK)를 직접 조정해 메모리 접근 효율과 점유율을 튜닝하거나, relu 같은 활성화 함수를 덧셈 연산과 융합해 메모리 트래픽을 줄이는 커널 퓨전(fusion) 실험도 가능하다. 어텐션(Attention) 커널 구현 예제인 AttentionFMHA.py도 함께 제공돼 트랜스포머 워크로드에서 타일 커널의 중요성을 보여준다.
현재 구글 콜랩(Google Colab)의 일반 런타임은 드라이버 요건을 충족하지 못하는 경우가 많아, cuTile 실제 실행에는 전용 GPU 서버 환경이 필요하다. NVIDIA가 파이썬 수준의 접근성과 CUDA 수준의 제어력을 동시에 제공하는 커널 프로그래밍 인터페이스를 확장하는 것은, LLM 추론·학습 최적화를 자체 커널로 구현하려는 AI 연구자와 엔지니어들의 수요에 대응하는 흐름으로 풀이된다.
저작권자 © STORIUM 무단전재 및 재배포 금지
