AI 코드 에이전트가 자율 엔지니어로 활동할 가능성이 높아지면서, 실제 개발 환경의 복잡성을 충실히 반영하는 평가 기준의 필요성이 커지고 있다. 기존 벤치마크들은 코드 능력이나 데이터 처리 능력 중 하나만 평가하는 경향이 있어 실제 개발 업무와 거리가 있었다. 2026년 6월 arXiv에 공개된 CODA-BENCH는 코드 지능과 데이터 지능을 함께 측정하는 첫 번째 벤치마크로, 대규모 파일 시스템에서 관련 데이터를 탐색한 뒤 코드를 작성해 분석 과제를 해결하도록 요구한다.
CODA-BENCH는 캐글(Kaggle) 생태계에 기반한 데이터 집약 리눅스 샌드박스 위에서 구성됐다. 벤치마크는 31개 커뮤니티에 걸친 1,009개 과제로 이루어지며, 각 과제 환경에는 평균 980개의 파일이 포함돼 현실적인 데이터 규모와 노이즈를 재현했다. 에이전트는 복잡한 파일 계층을 능동적으로 탐색해 관련 자원을 찾아내고, 데이터 기반 분석 과제를 위한 코드를 생성해야 한다. 평가 결과 최고 성능을 자랑하는 에이전트조차 성공률이 61.1%에 그치는 것으로 나타났다.
이 결과는 현재 AI 에이전트가 코드 생성과 데이터 발견을 통합적으로 처리하는 능력에서 상당한 한계를 안고 있음을 보여준다. 코드를 잘 짜더라도 방대한 파일 환경에서 적절한 데이터를 찾아내는 탐색 능력이 뒷받침되지 않으면 실제 업무에서의 자율성은 제한적이다. 그동안 코드 에이전트 평가는 SWE-bench류의 코드 수정 능력이나 표 형태 데이터 분석 능력을 따로 측정하는 방식이 주류였다. 그러나 현실의 데이터 과학·엔지니어링 작업은 수백 개 파일이 뒤섞인 환경에서 어떤 자료를 써야 할지 스스로 판단하는 단계부터 시작된다. CODA-BENCH는 이 ‘데이터를 찾는 일’까지 평가 범위에 넣었다는 점에서 기존 벤치마크와 차별화된다.
연구진은 이번 결과가 코드 에이전트 연구의 향후 방향을 제시한다고 봤다. 단순히 더 큰 모델을 쓰는 것만으로는 데이터 발견과 코드 실행을 매끄럽게 잇기 어렵다는 점이 드러난 만큼, 파일 시스템 탐색 전략·관련성 판단·중간 결과 검증 같은 에이전트의 작업 흐름 자체를 개선하는 연구가 필요하다는 것이다. 국내 AI 개발 현장에서도 코드 자동화 도구 도입이 늘고 있는 상황에서, CODA-BENCH가 드러낸 데이터 발견 능력의 격차는 코드 에이전트의 실무 적용 가능성과 한계를 가늠하는 기준점이 될 수 있다. 자율 엔지니어 수준의 에이전트가 현장에 투입되기까지는 아직 상당한 연구 과제가 남아 있다는 점을 이번 벤치마크가 정량적으로 보여준 셈이다.
저작권자 © STORIUM 무단전재 및 재배포 금지
