Allen AI(AI2)가 데이터 집합으로부터 밀도(density)와 스코어(score)를 단일 순전파로 동시 추정하는 트랜스포머 모델 DiScoFormer(Density and Score Transformer)를 공개했다. 밀도는 데이터 분포의 매끄러운 히스토그램으로 특정 값이 얼마나 빈번한지를 나타내며, 스코어는 로그 밀도의 기울기로 데이터 포인트를 더 높은 확률 영역으로 이동시키는 방향을 가리킨다. 스코어 추정은 Stable Diffusion이나 DALL-E 같은 확산 기반 생성 모델의 핵심 원리이자, 베이지안 샘플링과 플라즈마 같은 물리 시스템 입자 시뮬레이션에도 쓰인다. 재학습 없이 다양한 분포에 적용 가능한 사전 훈련 추정기가 없다는 점이 기존 도구의 한계였다.
DiScoFormer는 트랜스포머 블록을 쌓아 전체 샘플을 입력받아 임의의 위치에서 밀도와 스코어를 동시에 출력한다. 스코어는 로그 밀도의 기울기라는 수학적 관계를 활용해, 밀도 헤드와 스코어 헤드가 공유 백본 위에 구성된다. 두 헤드 사이의 일관성 손실은 레이블 없이 추론 시 자기 정제에도 활용된다. 아키텍처 선택에도 수학적 근거가 있다. 단일 어텐션 헤드의 가중치가 데이터 위의 가우시안 커널과 근사적으로 일치함을 해석적으로 증명해, 크로스-어텐션 한 블록이 커널 밀도 추정(KDE)의 밀도·스코어를 재현할 수 있다는 점을 보였다. KDE는 학습 없이 어떤 분포에도 적용 가능하지만 차원이 높아질수록 정확도가 급감한다. DiScoFormer는 KDE를 특수 사례로 포함하면서 복수의 스케일을 동시에 학습해 이를 개선하는 구조다.
훈련 데이터로는 가우시안 혼합 모델(GMM)을 사용했다. GMM은 충분한 성분 수로 사실상 모든 매끄러운 분포를 근사할 수 있는 범용 밀도 근사기이며, 닫힌 형식의 밀도·스코어 공식이 있어 정확한 지도 학습이 가능하다. 매 배치마다 새 GMM을 생성해 사실상 무한한 훈련 예시를 제공했다. 성능 평가에서 DiScoFormer는 100차원 환경에서 수동으로 최적화된 KDE 대비 스코어 오차를 약 6.5배, 밀도 오차를 37배 이상 줄였다. 샘플 수가 늘어날수록 KDE는 메모리 한계에 부딪히는 반면 DiScoFormer는 계속 개선됐다. 훈련 시 본 것보다 많은 혼합 성분 수와 라플라스·스튜던트-t 같은 비가우시안 분포에서도 정확도가 유지됐다.
Allen AI는 스코어 추정이 생성 모델링, 베이지안 추론, 과학 컴퓨팅 등 여러 분야의 공통 의존성이라는 점에서 DiScoFormer의 잠재력을 높이 평가했다. 문제별 재학습 없이 고차원에서도 정확도를 유지하는 사전 훈련 플러그인 추정기가 스코어와 밀도가 필요한 모든 분야에서 반복 비용을 한꺼번에 절감할 수 있다는 것이다. 관련 기술 보고서는 arXiv(arxiv.org/abs/2511.05924)에 공개됐다.
