전 세계 웹사이트의 약 20%가 이용하는 인터넷 인프라 기업 클라우드플레어(Cloudflare)가 웹사이트 운영자를 위한 봇 관리 정책을 대대적으로 개편했다. 이 회사는 웹사이트와 인터넷 이용자 사이의 트래픽을 중계하고 사이버 공격을 방어하는 역할을 맡고 있어, 기본 설정 변경만으로도 수백만 개 웹사이트의 크롤러 접근 정책이 일괄적으로 바뀌는 효과를 낸다.
기존에는 ‘AI 봇 차단’이라는 단일 옵션만 존재해, 사이트 운영자는 AI 크롤러를 일괄 허용하거나 일괄 차단하는 이분법적 선택밖에 할 수 없었다. 클라우드플레어는 이번 개편으로 봇을 ‘검색’ ‘에이전트’ ‘학습’ 세 종류로 구분해, 운영자가 용도별로 독립적인 정책을 설정할 수 있도록 했다. 차단 범위를 광고가 게재된 페이지로 한정한 이유에 대해서는, 광고 페이지는 사람이 직접 방문해 보는 것을 전제로 운영되는 만큼 AI 크롤러가 이 콘텐츠를 가져가 자체 답변에 활용하면 이용자가 원본 사이트를 방문할 유인이 줄고 결국 광고 수익 기반이 무너지기 때문이라고 설명했다.
가장 문제가 되는 것은 검색과 AI 학습을 동시에 수행하는 혼합형 크롤러이며, 대표적인 사례로 구글이 지목됐다. 구글은 검색 색인, AI 오버뷰, AI 모드 등 모든 기능에 구글봇 하나를 사용하기 때문에, 사이트 운영자가 구글봇을 차단하면 검색 결과에서도 함께 사라지는 구조다. 이는 검색 노출을 유지하려면 AI 학습용 데이터 제공도 감수해야 하는 양자택일 상황을 만든다는 게 클라우드플레어의 지적이다. 클라우드플레어 공동창업자이자 최고경영자(CEO)인 매슈 프린스는 “인터넷 트래픽의 과반이 이제 비인간 트래픽이 된 만큼 지속 가능한 생태계를 위해 더 빠르게 행동해야 한다”며 혼합형 크롤러가 용도별로 분리되도록 유도하는 것이 목표라고 밝혔다.
클라우드플레어에 따르면 구글의 크롤 대비 유입 비율은 약 14대1인 반면, 2025년 6월 측정 기준 오픈AI는 1700대1, 앤트로픽은 7만3000대1에 달해 AI 크롤러가 콘텐츠만 가져가고 트래픽은 거의 돌려주지 않는 구조라는 점이 드러났다. 자체 분석 결과 AI 크롤러 트래픽의 절반 이상이 변경되지 않은 페이지를 반복 수집하는 데 소모되는 것으로 나타났으며, 2026년 기준 전 세계 웹 HTTP 요청의 57.5%가 이미 봇 트래픽으로 사람이 만드는 트래픽 비중을 넘어섰다. 클라우드플레어는 2027년 중반까지 혼합형 크롤러 트래픽 비중을 0%로 낮추겠다는 목표를 제시했으며, 이는 주요 AI 기업들의 선택에 따라 웹 콘텐츠 생태계의 경제 구조 자체를 바꿀 수 있는 변수로 평가된다.
