클라우드플레어(Cloudflare) 최고경영자 매슈 프린스(Matthew Prince)가 AI 에이전트가 주도하는 봇 트래픽이 인터넷 전체 트래픽의 57.4%를 넘어섰다고 밝혔다. 인간이 생성하는 트래픽의 비율은 42.6%로 처음으로 봇에 역전당했다. 프린스는 이 전환점이 2027년 말 이전에는 오지 않을 것으로 예측했지만, AI 에이전트 트래픽의 급격한 증가로 당초 예상보다 훨씬 빨리 실현됐다고 설명했다. 그는 데이터가 아직 정밀하지 않더라도 추세 자체는 분명하다고 강조했다.
프린스는 웹의 미래에 대해 “크롤링 유료화(pay to crawl)가 자명한 방향”이라고 단언했다. 봇, 크롤러, 에이전트는 모두 같은 의미이며 좋게 보는지 나쁘게 보는지에 따라 명칭만 다를 뿐이라는 설명도 덧붙였다. 클라우드플레어는 지난해 사이트 운영자가 AI 크롤러의 접근을 차단하거나 이용료를 부과할 수 있는 플랫폼을 출시했지만, 아직 시장 채택률은 낮은 수준이다. 프린스는 해당 서비스가 필요한 트래픽 규모를 감당하기 위한 프로토콜과 인프라를 계속 구축 중이라고 밝혔다.
이 발언은 AI 크롤러가 웹 생태계에 가져오는 구조적 변화를 배경으로 한다. 구글의 AI 오버뷰(AI Overviews)와 AI 모드는 이미 수십억 명의 이용자를 확보한 상태이며, AI 에이전트가 정보를 수집하고 요약해 직접 답변하는 방식이 확산되면서 웹사이트 운영자들은 자신의 콘텐츠가 무상으로 학습·활용되는 것에 대한 대가를 요구하기 시작했다. 크롤링 유료화 논의는 콘텐츠 생산자와 AI 개발사 사이의 보상 구조 문제로 이어지며 웹 경제의 근본적인 재편을 예고한다.
AI가 웹 접근 방식을 바꾸면서 콘텐츠 생산자, 플랫폼, AI 기업 간의 이해관계 충돌은 더욱 복잡해질 전망이다. 유료 크롤링이 표준화될 경우 소규모 AI 스타트업의 데이터 접근 비용이 높아지는 반면, 콘텐츠 생산자는 새로운 수익원을 확보할 수 있다는 분석도 나온다.
