알리바바 큐원(Qwen) 프로젝트의 기술 총괄을 맡았던 린쥔양이 지난 3월 3일 사임을 발표한 뒤, 자신을 독립 연구자로 소개하며 내놓은 강연과 후속 글이 업계에서 다시 주목받고 있다. ‘큐원: 제너럴리스트 모델·에이전트를 향하여’라는 제목의 강연에서 그는 큐원 모델군의 발전 과정을 짚은 뒤 “모델 훈련에서 에이전트 훈련으로”라는 한 문장으로 마무리했으며, 이후 독립 연구자 신분으로 이 주장을 상세히 풀어낸 글을 발표했다.
강연은 QwQ-32B부터 큐원2.5-맥스, 큐원3, 큐원2.5-VL, 큐원2.5-옴니까지 큐원 모델군 전체를 훑는다. 특히 큐원3 대목에서는 단계적 추론을 수행하는 씽킹 모드와 즉각 응답하는 논씽킹 모드를 오가는 하이브리드 씽킹, 그리고 추론량에 상한을 둘 수 있는 동적 사고 예산 기능이 강조됐다. 큐원3는 다국어 지원 범위를 29개에서 119개 언어·방언으로 확장했으며, 0.6B부터 235B까지 다양한 파라미터 규모와 GGUF·GPTQ·AWQ·MLX 등 양자화 포맷을 아파치2.0 라이선스로 공개했다.
후속 글에서 린쥔양은 하이브리드 씽킹을 매끈한 기능처럼 소개한 강연과 달리, 이를 구현하는 과정이 실제로는 매우 어려웠다고 밝혔다. 직관적인 지시 응답 모델은 간결함과 신속함으로 보상받는 반면, 씽킹 모델은 어려운 문제에 더 많은 토큰을 쓰도록 보상받아 두 방향이 서로 충돌한다는 것이다. 큐원3는 장문의 사고사슬 콜드스타트와 추론 강화학습, ‘씽킹 모드 퓨전’ 단계로 구성된 4단계 후속 훈련 파이프라인으로 두 모드의 통합을 시도했지만, 2025년 하반기 2507 라인에서는 결국 인스트럭트와 씽킹 변형을 별도로 내놓았다. 그는 이를 모델의 문제라기보다 데이터의 문제로 규정했고, 앤트로픽이 클로드3.7 소네트에서 사용자가 사고 예산을 직접 설정하는 하이브리드 모델을, 클로드4에서는 추론과 도구 사용을 교차시키는 방식을 택한 것을 유용한 반례로 꼽았다.
린쥔양은 o1과 딥시크-R1으로 대표되는 ‘추론 사고’의 시대가 검증 가능한 보상이 있는 수학·코드·논리 중심의 강화학습을 정착시켰다면, 다음 시대는 ‘에이전틱 사고’라고 진단했다. 이는 계획을 세우고 언제 행동할지 판단하며 도구를 쓰고 환경 피드백을 읽어 계획을 수정하는, 환경과의 폐쇄 루프 상호작용으로 정의된다. 그는 에이전틱 사고가 다뤄야 할 과제로 언제 사고를 멈추고 행동할지 판단, 어떤 도구를 어떤 순서로 쓸지 선택, 노이즈 섞인 관측 정보 통합, 실패 후 계획 수정, 다수의 턴과 도구 호출에 걸친 일관성 유지를 꼽았다.
린쥔양은 에이전틱 강화학습의 인프라가 훨씬 어렵다고도 강조했다. 추론 강화학습의 롤아웃은 대체로 독립적이고 평가자가 명확하지만, 에이전틱 강화학습에서는 정책이 도구 서버·브라우저·터미널·샌드박스로 이뤄진 하네스 안에서 작동해 훈련과 추론의 깔끔한 분리가 필수적이며, 그렇지 않으면 롤아웃 처리량이 무너진다는 것이다. 그는 지도학습 미세조정(SFT) 시대에는 데이터 다양성을 최적화했다면, 에이전트 시대에는 안정성·현실성·커버리지·악용 저항성을 갖춘 환경 품질을 최적화해야 한다고 주장하며, 도구 접근권이 공격 표면을 넓히는 보상 해킹을 가장 어려운 과제로 지목했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
