NVIDIA가 대규모 코드 사전학습용 데이터셋 Nemotron-Pretraining-Code-v3를 허깅페이스(Hugging Face)를 통해 공개했다. 이 데이터셋은 1억 4632만여 개의 소스 파일과 약 1730억 토큰에 달하는 방대한 규모로, 파일당 평균 약 1180토큰 수준이다. 연구자들이 수십 기가바이트에 달하는 전체 데이터를 내려받지 않고도 스트리밍 방식으로 메타데이터를 분석하고 샘플을 추출할 수 있다는 점이 특징이다.
데이터셋 메타데이터에는 저장소 이름, 커밋 ID, 상대 경로, 프로그래밍 언어 종류 등이 포함돼 있어 깃허브(GitHub) 원본 소스 파일의 URL을 재구성하는 것도 가능하다. 파이썬(Python)을 포함한 다양한 프로그래밍 언어 파일이 인덱싱돼 있으며, tiktoken 라이브러리를 활용해 실제 토큰 규모를 추정하거나 판다스(Pandas) 데이터프레임으로 언어별·저장소별 분포를 분석하는 워크플로우가 제안됐다. 일부 저장소는 삭제·이름 변경 등으로 원본 파일 접근이 불가한 경우도 있다고 안내한다.
LLM(대규모 언어 모델) 코드 이해 능력을 높이기 위한 사전학습 데이터 수요가 빠르게 증가하는 가운데, 대형 GPU 제조사가 직접 대규모 코드 데이터셋을 공개하는 사례가 늘고 있다. NVIDIA는 앞서 Nemotron 시리즈를 통해 언어 모델 학습용 데이터와 모델 가중치를 연구 커뮤니티에 공개해왔다. 이번 코드 데이터셋 공개도 그 연장선으로, 연구자들이 자체 코드 특화 모델을 훈련하거나 기존 모델을 파인튜닝할 때 활용할 수 있는 기반을 제공한다.
데이터셋은 스트리밍 접근 방식을 지원해 전체 다운로드 없이 3만 건 규모의 셔플 샘플을 추출하는 식으로 효율적 탐색이 가능하다. 추출한 샘플을 Parquet 형식으로 저장하거나 실제 소스 파일을 함께 저장해 재사용 파이프라인을 구성하는 방법도 함께 제안됐다. 이 데이터셋은 현재 허깅페이스 nvidia/Nemotron-Pretraining-Code-v3 저장소에서 누구나 접근할 수 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
