미국 AI 개발사 앤트로픽이 에이전틱 코딩 도구 ‘클로드코드’의 사용 데이터를 분석해, AI를 능숙하게 다루는 사람과 그렇지 못한 사람을 가르는 결정적 요인이 코딩 실력이 아니라 해당 분야에 대한 이해도라는 연구 결과를 내놨다. 지난달 16일(현지시간) 공개된 ‘에이전틱 코딩 시대에도 지속되는 전문성의 가치’ 보고서에 따르면, 도메인 전문가는 작업이 막혔을 때 어디서 문제가 생겼는지 파악하고 AI에 구체적으로 보완을 요구해 프로젝트를 성공으로 이끄는 반면, 비전문가는 문제 지점을 파악하지 못한 채 작업을 포기하는 경우가 많았다.
이번 연구는 앤트로픽 연구팀이 2025년 10월부터 6개월간 클로드코드에서 생성된 40만 건의 세션을 분석해 도출한 결과다. 연구팀은 이용자가 AI에 얼마나 구체적으로 지시하는지, 결과물에 대해 무엇을 검증해 달라고 요청하는지 등을 기준으로 이용자를 초보자부터 전문가까지 다섯 단계로 분류해 비교했다. 작업 도중 어려움에 부딪힌 세션에서도 격차는 뚜렷했다. 초보자로 분류된 세션이 성공으로 끝난 비율은 4%에 그쳤지만 전문가 세션에서는 15%로 높아졌다. 반대로 세션을 중도에 포기한 비율은 초보자 세션에서 19%에 달한 반면 중급 이상 세션에서는 5~7%에 머물렀다.
연구팀은 사람과 AI의 협업 구조도 함께 들여다봤다. 세션 속 결정을 ‘계획’과 ‘실행’으로 나눠 분석한 결과, 사람은 평균적으로 계획의 약 70%를 직접 결정하고 실행은 20%만 관여하는 것으로 나타났다. 사람이 방향을 제시하면 AI가 세부 구현을 맡는 분업 구조인 셈이다. 이 구조 안에서 전문가는 한 번의 지시로 AI가 더 많은 작업을 수행하도록 이끌었다. 초보자 세션에서는 프롬프트 한 번당 AI가 약 5개의 작업을 실행하고 약 600단어를 출력한 반면, 전문가 세션에서는 그보다 두 배 이상 많은 약 12개의 작업을 실행하고 약 3200단어를 출력했다.
앤트로픽 연구팀은 클로드코드로 성과를 내는 데 있어 코드 작성 능력보다 무엇을 만들어야 하는지 판단하고 AI에 적절한 작업을 지시하며 결과물의 타당성을 검증하는 능력이 더 크게 작용한다고 결론지었다. 이는 AI 활용 역량이 프로그래밍 숙련도가 아니라 특정 분야에 대한 이해도에서 갈린다는 점을 보여주는 결과로, 기업들이 AI 도입 교육 방향을 설계하는 데도 시사점을 줄 것으로 보인다.
