허깅페이스(Hugging Face)가 클라우드 LLM(대규모 언어 모델)에 의존하지 않고 로컬 오픈웨이트 모델만으로 대규모 오픈소스 저장소의 풀 리퀘스트(PR)와 이슈를 자동 분류하는 에이전트 시스템을 구축해 그 과정을 공개했다. 배경에는 앤트로픽(Anthropic)의 최신 플래그십 모델 클로드 Fable 5의 서비스 종료 사례가 있다. 이 경험이 AI 스택을 직접 소유하고 로컬에서 모델을 실행하는 것이 얼마나 중요한지 다시 환기시켰다고 팀은 설명했다. 이번 시스템이 목표로 삼은 저장소는 하루에 수백 건의 이슈와 PR이 쏟아지는 OpenClaw 저장소로, 유지관리자가 자신이 담당하는 영역의 중요 이슈를 실시간으로 알림받을 수 있는 분류 체계가 필요했다.
시스템 구현에는 `gemma-4-26b-a4b`와 `qwen3.6-35b-a3b` 두 모델을 테스트했으며, 성능 최적화를 거쳐 두 모델 모두 로컬에서 초당 수백 토큰을 생성할 수 있었다. 에이전트 하네스로는 pi를 사용했고, 각 PR의 제목·본문·diff 발췌를 첫 프롬프트로 받은 에이전트가 저장소를 읽거나 최종 분류 결과를 제출하는 도구를 선택한다. 보안을 위해 일반 bash 대신 읽기 전용 명령만 허용하는 reposhell을 사용했다. 프롬프트 인젝션 공격이 담긴 이슈나 PR이 에이전트를 분류 외 작업으로 유도하는 것을 막기 위한 조치다. 실제 테스트에서 qwen3.6-35b-a3b 모델은 파일 경로만으로 `coding_agent_integrations`로 잘못 분류할 뻔한 PR을 저장소를 직접 확인한 뒤 `inference_api`와 `tool_calling`으로 정정하는 결과를 보였다.
이 사례는 오픈웨이트 모델의 에이전트 활용 가능성을 보여주는 실증 사례로 주목받는다. ChatGPT Pro 구독 기반으로 6시간마다 배치 처리하던 방식 대신, 이미 보유한 NVIDIA GB10(128GB 통합 메모리) 하드웨어에서 전기료만으로 거의 실시간 알림을 구현했다. 한국에서도 AI 인프라 비용 부담과 클라우드 의존 리스크를 줄이려는 움직임이 커지는 가운데, 로컬 오픈소스 모델을 에이전트 하네스와 결합해 기업 내부 워크플로에 적용하는 접근법이 현실적 대안으로 떠오르고 있다.
저작권자 © STORIUM 무단전재 및 재배포 금지
