JPMorganChase AI Research 연구진이 자연어 요청을 Git 명령 순서로 바꾸는 ‘Git-Assistant’를 제안했다. 핵심은 대규모언어모델이 모든 명령을 직접 생성하게 두지 않고, 저장소 상태와 사용자의 목표를 자동계획 문제로 변환해 실행 가능한 순서를 찾는 방식이다.
시스템은 저장소의 브랜치 관계, 작업 트리, 인덱스와 최근 커밋을 읽는 관찰기, 목표를 해석하는 엔진, 명령을 수행하는 실행기로 구성된다. 혼합형 버전에서는 LLM이 자연어 요청을 PDDL 목표로 바꾸고 Fast Downward 계획기가 A*와 LM-cut 휴리스틱으로 계획을 찾는다. 충돌이 생기면 사용자에게 제어를 돌려주는 기능도 설계했지만 자동 평가에서는 껐다.
평가는 수작업 기본 환경과 무작위 저장소 환경 두 종류에서 진행했다. 각 환경에 25개 요청을 만들고 GPT-4o로 네 가지 표현을 생성한 뒤 사람이 확인해 환경별 100개 요청을 구성했다. 정답은 특정 명령열이 아니라 실행 뒤 원격·로컬 브랜치, 작업 트리의 파일 해시와 태그가 목표 상태와 일치하는지로 판정했다.
기본 환경에서 저장소 정보가 없는 GPT-4o 방식의 정확도는 12%, 저장소 맥락을 준 LLM 방식은 19%, 자동계획을 결합한 방식은 81%였다. 오류율은 각각 97%, 78%, 3%였다. 무작위 환경에서는 세 방식이 12%, 16%, 59%를 기록했다. 혼합형의 평균 계획 시간은 기본 환경 31.3초, 무작위 환경 38.4초로 LLM 단독보다 길었다.
| 환경·방식 | 정확도 | 오류율 | 평균 계획시간 |
|---|---|---|---|
| 기본·LLM 단독(맥락 없음) | 12% | 97% | 3.9초 |
| 기본·LLM+저장소 맥락 | 19% | 78% | 16.2초 |
| 기본·Hybrid-Planner | 81% | 3% | 31.3초 |
| 무작위·Hybrid-Planner | 59% | 10% | 38.4초 |
결과는 합성 저장소와 총 200개 요청, GPT-4o 중심 평가에 한정된다. clone, restore, diff, 삭제 파일 처리, 중단되거나 손상된 merge 복구는 계획 영역에 포함되지 않았다. 저장소가 커지면 상태 수집 시간도 늘 수 있다. 계획기가 찾은 명령은 정의된 PDDL 영역 안에서는 유효하지만, LLM이 목표를 잘못 해석하면 실패한다. 논문은 2026년 7월 공개된 arXiv 사전논문으로 실제 개발팀의 장기 사용성과 독립 재현은 확인되지 않았다. 이 결과는 동료 검토 전 프리프린트에 담긴 연구진의 보고이므로 후속 검증이 필요하다.
저작권자 © STORIUM 무단전재 및 재배포 금지
