앤트로픽(Anthropic), 스탠퍼드대 등 공동 연구팀이 대형 언어모델(LLM)이 소형 모델에서는 나타나지 않는 특정 능력을 갖게 되는 이유를 메커니즘 수준에서 규명한 연구를 발표했다. 이번 연구는 큰 모델이 단순히 더 빨리 배운다는 기존의 통념을 넘어, 소형 모델은 아무리 오랫동안 학습을 지속하더라도 일정 비율 이하로 등장하는 희귀 과제를 원리적으로 습득할 수 없음을 실험으로 확인했다. 훈련 데이터 내 과제 빈도가 학습 가능 여부를 결정짓는다는 설명이다.
연구팀은 과제 빈도와 복잡도를 달리해 모델 학습을 실험했다. 핵심 발견은 빈번한 과제가 학습 단계에서 모든 업데이트를 자신의 방향으로 끌어당겨 희귀 과제의 학습 신호를 덮어씌운다는 것이다. 대형 모델은 빈번한 과제를 어느 수준 이상 마스터하면 그 끌어당기는 힘이 약해지고, 확보된 용량이 희귀 과제 학습에 투입된다. 반면 소형 모델은 이 전환점에 좀처럼 도달하지 못해 희귀 과제를 잠깐 학습했다가 다음 배치에서 다시 잊어버리는 ‘학습-망각(update-and-forget)’ 루프에 빠진다. 실험에서 훈련 데이터의 0.25%에 불과한 과제는 충분히 큰 모델에서만 학습됐다. 관측 간격이 길수록 소형 모델에서는 신호가 더 빠르게 감쇠한 반면, 대형 모델은 다음 관측까지 학습 내용을 유지하며 축적했다.
연구팀은 이 이론을 실제 언어모델로 검증하기 위해 OLMo 아키텍처의 400만 파라미터(parameter)에서 40억 파라미터 규모 모델을 Dolma 코퍼스 최대 2,100억 토큰으로 훈련했다. 여기에 숫자 비교와 모듈러 덧셈이라는 두 가지 인공 과제를 각기 다른 빈도로 혼합해 넣었다. 결과적으로 대형 OLMo 모델만이 희귀 과제의 규칙을 파악해 새로운 사례에 적용하는 일반화 능력을 보였다. 특히 모듈러 덧셈 과제에서는 ‘그로킹(grokking)’ 현상, 즉 개별 예제를 암기하는 단계에서 원리를 이해하는 단계로 갑작스럽게 전환하는 현상이 대형 모델에서만 관찰됐다. 10억 파라미터 모델에서는 희귀 과제 포함 배치마다 학습 방향으로의 신호가 뚜렷했으나, 2,000만 파라미터 모델에서는 그 신호가 다른 과제의 잡음에 묻혀 실질적인 학습이 거의 이루어지지 않았다.
이 연구는 모델 규모를 무한정 키우는 방식 외에도 소형 모델에 특정 능력을 심는 실질적 대안을 제시한다는 점에서 주목받는다. 목표로 하는 희귀 과제의 훈련 데이터 내 빈도를 높이면 모델 크기를 늘리지 않고도 해당 능력을 소형 모델에서 확보할 수 있다는 것이다. 연구팀은 암기를 일반화의 부산물이 아닌 필수 선행 단계로 재해석하기도 했다. 개별 사례를 충분히 오랫동안 기억해야만 여러 배치에 걸쳐 더 넓은 패턴이 형성된다는 논리다. 5월에는 MIT 연구팀이 스케일링 법칙(scaling law)을 모델의 기하학적 구조, 즉 중첩(superposition)을 통해 실제 차원보다 많은 개념을 저장하는 방식으로 설명한 연구를 발표한 바 있어, LLM 능력 발현 메커니즘을 둘러싼 다양한 관점의 연구가 동시에 진행되고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
