대규모 언어 모델(LLM)이 답을 내놓기 전 단계별로 생각을 풀어내는 사고연쇄(Chain-of-Thought, CoT) 추론 방식은 지금까지 주로 추론 시점에만 활용됐을 뿐, 모델이 직접 만들어낸 추론 과정을 학습 신호로 재사용하는 시도는 부족했다는 지적이 나왔다. 연구진은 논문 “Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning”에서 이 빈틈을 메우는 ‘준지도 사고연쇄 학습(Semi-CoT)’이라는 개념을 제시했다.
Semi-CoT는 정답 라벨이 없는 질문들로부터 의사(pseudo) 추론 감독 신호를 만들어내는 프레임워크다. 구체적으로는 라벨이 없는 질문 하나마다 여러 개의 의사 사고연쇄(pseudo-CoT)를 샘플링한 뒤, 각 답변이 얼마나 일관되게 나오는지를 나타내는 ‘의미적 엔트로피(semantic entropy)’를 추정한다. 이렇게 추정한 엔트로피가 낮을수록, 즉 답변이 일관될수록 신뢰도가 높은 추론 체인으로 판단해 이를 의사 사고연쇄 시연 예시로 선택하는 방식이다. 연구진은 이 접근이 기존에 추론 시점 개선에만 머물던 CoT의 자기학습(self-training) 관점을, 준지도 학습을 통한 의사 감독으로 확장한 것이라고 설명했다.
연구진은 AQuA, SVAMP, GSM8K, MultiArith 등 네 개의 수학 추론 데이터셋으로 파일럿 실험을 진행했다. 그 결과 엔트로피 기준으로 걸러낸 의사 사고연쇄는 91.36%에서 100%에 이르는 높은 정밀도를 보였다. 다만 데이터셋별로 효과는 엇갈렸다. SVAMP와 GSM8K에서는 작은 폭의 성능 향상이 관찰됐지만, AQuA에서는 오히려 부정적 전이(negative transfer)가 발생했고, MultiArith는 이미 성능이 한계치에 도달한 상태라 개선 여지가 크지 않았다.
연구진은 이런 결과를 종합해, 라벨이 없는 질문도 신뢰할 만한 의사 추론 신호를 제공할 수 있다는 가능성을 보여줬다고 평가했다. 다만 이를 실질적인 성능 향상으로 이어가려면 더 정교한 시연 선택 기법이나 학생 모델 훈련 방법이 추가로 필요하다고 밝혔다. 기업이 코딩·업무 전반에 AI 도구를 전면 도입하는 흐름이 이어지는 가운데, 라벨링 비용을 줄이면서도 모델의 추론 능력을 끌어올리려는 연구가 계속되고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
