Together AI가 멀티GPU 환경에서 최적화된 CUDA 커널을 생성하는 능력을 측정하는 오픈 벤치마크 ParallelKernelBench(PKB)를 공개했다. GPT-5.5, Gemini 3 Pro, 클로드(Claude) Opus 4.7 등 현재 가장 성능이 뛰어난 코딩 모델들을 평가한 결과, 87개 문제 중 제로샷 단일 시도에서 최선 모델이 28개를 정확히 해결하는 데 그쳤으며 이 중 기존 PyTorch+NCCL 기준선보다 빠른 커널을 생성한 것은 22개였다. 3회 시도(fast1@3)로 확장해도 정확히 해결한 문제가 36개, 기준선을 앞선 경우가 27개에 머물러, 최전선 LLM의 멀티GPU 커널 생성 능력에는 아직 상당한 한계가 있다는 점이 수치로 확인됐다.
PKB는 단일GPU 위주였던 기존 커널 생성 벤치마크의 공백을 채우기 위해 설계됐다. 실제 프로덕션 AI 워크로드에서 통신 오버헤드가 추론 지연의 20% 이상을 차지하며, 컴퓨팅 성능이 인터커넥트 대역폭보다 빠르게 확대되면서 그 비중이 더 커지고 있다는 문제의식에서 출발했다. 87개 문제는 Megatron-LM, DeepSpeed, DeepEP, TensorRT-LLM, NeMo-RL 등 실제 분산 학습 코드베이스에서 추출했으며, 텐서·컨텍스트·데이터·전문가·시퀀스·FSDP/ZeRO 등 주요 분산 처리 유형의 통신 패턴을 체계적으로 포함한다. 각 문제의 과제는 표준 PyTorch+NCCL 구현을 대체하는 CUDA 커널로, NVLink를 통해 GPU 간 데이터를 직접 이동시켜야 한다.
실패 패턴을 분석하면 단순한 CUDA 문법 오류보다 더 근본적인 문제가 드러난다. 약한 모델은 컴파일 자체에 실패하지만, 강력한 추론 모델은 컴파일은 성공하면서 잘못된 결과를 반환하는 경우가 많다. 핵심 어려움은 랭크 간 데이터 분배 조율, 올바른 통신 순서, 그리고 복사 엔진·TMA·SM 직접 로드·NVLS 같은 고급 GPU간 데이터 이동 메커니즘의 선택이다. 생성된 커널 대부분은 복사 엔진이나 SM 로드·스토어에 의존했으며, 최고 성능에 필요한 TMA나 NVLS 같은 특화 메커니즘은 거의 등장하지 않았다. 에이전틱 접근법(Gemini 3 Pro에 터미널·컴파일러 출력·속도 측정 도구를 제공)을 적용하면 24개에서 35개로 정확도가 올랐지만, 약 20회 반복 후 성능이 정체했다.
한편 성공 사례 중에는 공개된 최적화 참조 구현이 없는 새로운 고성능 커널이 나타나기도 했다. Gemini 3 Pro가 NVIDIA NeMo-RL의 GRPO 학습 루프에 필요한 어휘 병렬 로그 확률 계산 커널을 생성해 기존 기준선을 앞질렀고, GPT-5.5는 Hyena 연산자의 컨텍스트 병렬 순전파와 SAM 3 비디오 분할의 마스크 IoU 억제 커널에서 NVLink 직접 통신 방식으로 성능 향상을 이뤘다. Together AI는 PKB를 오픈 벤치마크로 공개하며, 노드 간 RoCE·InfiniBand 패브릭, TPU 등 다양한 하드웨어 확장과 NVSHMEM·NCCL GIN 같은 새로운 프로그래밍 인터페이스 지원을 향후 과제로 제시했다.
