KAIST 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 일반 생성형 AI보다 질문 한 건당 최대 136.5배 많은 전력을 소비한다는 분석 결과를 내놨다. AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 쓰는지 체계적으로 분석한 것은 이번이 세계 최초라고 연구팀은 밝혔다.
AI 에이전트는 챗GPT 같은 대형언어모델(LLM)이 단순히 질문에 답하는 수준을 넘어, 스스로 계획을 세우고 인터넷 검색이나 계산기, 코드 실행 같은 외부 도구를 활용해 복잡한 문제를 해결하는 방식이다. 소프트웨어 개발이나 연구 지원, 업무 자동화 등에서 활용이 빠르게 늘고 있지만, 이를 실제 서비스로 운영하는 데 드는 전력과 비용은 그동안 제대로 알려진 바가 없었다. AI 에이전트의 메모리 설계처럼 에이전트 구조 자체를 다루는 연구가 늘고 있는 가운데, 이번 분석은 그 운영 비용에 초점을 맞췄다.
연구팀은 AI 에이전트를 데이터센터 서버와 그래픽처리장치(GPU)가 지속적으로 처리해야 하는 새로운 형태의 작업으로 보고 계산량과 에너지 소비를 분석했다. 그 결과 AI 에이전트는 기존 단계별 추론 방식인 사고사슬(CoT)보다 평균 9.2배 많은 LLM 호출을 발생시켰고, 답변 시간도 최대 153.7배 늘어난 것으로 나타났다. 특히 외부 도구가 작업을 수행하는 동안 GPU가 대기하는 시간이 전체 실행 시간의 최대 54.5%에 달해, 여러 도구를 오가는 과정에서 고가의 GPU가 충분히 활용되지 못하는 비효율이 확인됐다. 700억 개 매개변수 규모 모델을 쓰는 AI 에이전트는 질문 한 건에 평균 348.41Wh의 전력을 소비해, 단일 질의응답 방식의 생성형 AI보다 136.5배 높은 수준을 기록했다.
연구팀은 이를 데이터센터 규모로 확장해, 하루 137억 건의 AI 에이전트 요청이 발생하는 상황을 가정하면 데이터센터 전력 수요가 약 198.9GW에 이를 것으로 추정했다. 이는 현재 각국이 추진 중인 수 GW급 AI 데이터센터 규모를 크게 웃돌고, 미국 전체 평균 전력 소비량의 약 절반에 해당하는 수치다. 유민수 교수는 AI 경쟁력이 모델 성능뿐 아니라 AI 반도체·데이터센터·전력 인프라의 효율성으로 확대되고 있다며, 앞으로는 AI 모델과 반도체, 데이터센터, 전력망을 함께 최적화하는 공동 설계가 중요해질 것이라고 전망했다. 이번 연구는 KAIST 김지인 박사과정 학생이 제1저자로 수행했으며, 지난 2월 국제학회 IEEE HPCA에서 발표됐다. 연구팀은 연구에 활용한 AI 에이전트 구현 기술과 벤치마크를 오픈소스로 공개했다.
저작권자 © STORIUM 무단전재 및 재배포 금지
