확산 언어모델은 문장을 왼쪽에서 오른쪽으로 한 토큰씩 쓰는 대신, 마스크된 여러 위치를 반복해서 복원한다. 2026년 7월 17일 arXiv에 공개된 AdaLook는 이 복원 과정에서 미래 후보를 얼마나 깊게 살펴볼지 매 단계 조절하는 디코딩 방법이다. arXiv 기록에서는 학회 채택이나 동료검토 완료 여부가 확인되지 않는 v1 프리프린트다.
AdaLook는 여러 후보 궤적의 누적 신뢰도 점수를 계산한 뒤 점수 분산을 본다. 후보 간 차이가 작아 분산이 임계값보다 낮으면 롤아웃을 더 진행하고, 분산이 충분히 커지거나 최대 깊이에 도달하면 가장 높은 점수의 후보를 확정한다. 중간 상태에서도 가지별 조건을 다시 확인해 모두 확장할지, 모두 멈출지, 일부만 이어갈지를 나눈다.
주 실험은 LLaDA-8B-Instruct로 진행됐고 GSM8K 1,319문항, MATH500 500문항, BBH와 MMLU에서 각각 무작위로 뽑은 500개 예제, HumanEval을 사용했다. 논문 표에서 MATH 최고 정확도는 AdaLook 43.6%, 1단계 lookahead 방식인 ETE 42.6%, Fast-dLLM 42.2%로 제시됐다. 이 수치는 해당 모델과 설정에서 얻은 벤치마크 결과이며 일반적인 언어모델 성능 향상으로 확대해석할 수 없다.
효과는 과제마다 달랐다. 연구진은 MATH와 BBH에서 정확도와 디코딩 단계 수의 절충이 개선됐다고 보고했지만, HumanEval에서는 AdaLook와 1단계 lookahead 모두 기본 병렬 디코딩 대비 이점이 제한적이었다. 추가 가설을 묶어 계산하기 때문에 한 단계의 연산 비용도 늘어난다. B200에서 빔 크기 4일 때 표의 지연 값은 ETE 0.056, AdaLook 0.0606으로 적혀 있으나, 표가 밀리초라고 명시한 단위는 8B 모델의 종단 지연으로 보기에는 이례적이어서 기사에서는 절대시간 성능으로 단정하지 않았다.
AdaLook가 보여준 것은 디코딩 단계를 무조건 늘리는 방식보다 중간 불확실성에 따라 탐색량을 바꿀 수 있다는 가능성이다. 실제 서비스 적용을 판단하려면 서로 다른 확산 언어모델과 더 긴 생성 과제에서의 재현, 동일 하드웨어 조건의 종단 지연 측정, 외부 검증이 더 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
