병렬 그래디언트 부스팅, 다중 분위수 회귀 실험에서 XGBoost와 비슷한 오차·짧은 학습시간 보고

프랑스 연구진은 예비논문 arXiv:2607.13550에서 다중 출력 그래디언트 부스팅을 병렬화한 ‘parallel gradient boosting(PGB)’를 제안했다. 핵심은 각 반복마다 여러 목표값을 따로 학습하지 않고, 각 반복에서 하나의 projection direction을 정하고 그 방향에 대응하는 기본 모형 하나만 적합하는 방식이다. 저자들은 이 구조가 조건부 분포를 분위수 여러 개로 나눠 추정하는 문제에서 계산 부담을 줄이면서도, 같은 설정의 기존 도구들과 비슷한 예측 품질을 유지한다고 설명했다. 논문은 다중 분위수 회귀를 중심으로 평가하고, 분위수 보간과 평활화를 거쳐 조건부 분포를 추정하는 절차까지 다뤘다.

방법은 여러 분위수 수준을 동시에 맞추는 다중 분위수 회귀에 맞춰 설계됐다. 논문은 조건부 분위수의 격자를 두고 핀볼 손실을 합산해 학습하며, PGB의 기본 학습기로는 결정트리를 사용했다. 구현에서는 가지치기 깊이 1인 stump 또는 깊이 3 트리를 쓰고, 최소 5개 관측치가 각 노드에 남도록 설정했다. 시뮬레이션 실험에서는 Lei와 Wasserman(2014)의 데이터에 20개 분위수를 균등 간격으로 두고, 학습률 0.02, 서브샘플링 비율 0.5, 라인서치에 256개의 무작위 훈련 관측치를 사용했다. 검증 데이터는 전체의 20%를 따로 떼어 조기 종료에 활용했다. 저자들은 또 조밀한 분위수 격자에서 순서 뒤집힘을 막기 위해 isotonic regression으로 사후 정렬을 적용하고, 분위수 보간으로 조건부 누적분포와 밀도를 구성했다.

시뮬레이션 결과, PGB는 Figure 3에서 XGBoost와 비교해 비슷한 수준의 분위수 곡선을 얻으면서도 분위수 교차가 나타나지 않았다고 보고됐다. 같은 그림에서 XGBoost는 절반이 넘는 분위수에서 교차가 발생해 빨간색으로 표시됐다. 실제 자료 실험인 baseball 데이터에서는 분위수 개수를 늘려도 두 방법의 시험 오차는 전반적으로 유사했다. 반면 계산 시간은 큰 차이를 보였다. 논문은 분위수 수가 증가할수록 두 방법 모두 계산 시간이 선형적으로 늘지만, XGBoost는 128개 분위수를 학습할 때 1개 분위수보다 50배 이상 오래 걸린다고 밝혔다. PGB는 다수 분위수를 쓰더라도 기본 모형 적합이 전체 시간의 대부분을 차지해, 수십 개 분위수를 돌려도 1개 분위수보다 크게 느려지지 않았다고 정리했다.

한계도 분명하다. 이 논문은 arXiv 예비출판본으로, 동료심사 저널 게재가 확인되지 않았다. 이론적 수렴 정리는 Assumptions 3·5·6과 각 elementary loss에 대한 Assumption 4를 전제로 하며, 손실의 매끄러움과 기본 모형·예측공간에 관한 조건을 요구한다. 따라서 핀볼 손실처럼 미분 불가능한 목적함수는 이러한 정리의 직접 대상이 아니었다. 저자들은 다중 분위수 회귀에서 분위수 개수를 표본 수에 맞춰 늘리되, 실무에서는 M=max(20, 2×√n) 규칙을 권고했지만 이 선택의 이론적 타당성은 증명하지 않았다. 조건부 분포 추정 절차는 분위수 교차를 isotonic regression으로 보정하고 선형 보간한 뒤, 밀도를 얻을 때 라플라스 커널로 평활화했으며, 이때 꼬리 영역을 완전히 모형화하지 못하고 구간별 상수 밀도가 생길 수 있다고 적었다. 구현 코드는 CRAN의 R 패키지 opencesp로 공개됐다.

자료: STORIUM 정리

저작권자 © STORIUM 무단전재 및 재배포 금지