콘텐츠전송네트워크(CDN) 기업 클라우드플레어가 2024년 7월부터 제공해온 ‘AI 크롤러 일괄 차단’ 기능을 세분화된 제어 방식으로 대체한다. 더디코더가 보도한 내용에 따르면, 사이트 운영자는 이제 클릭 한 번으로 모든 AI 봇을 막는 대신 봇의 목적에 따라 접근 여부를 따로 결정할 수 있게 된다.
새로운 분류 체계는 봇을 검색(Search), 훈련(Training), 에이전트(Agent) 세 가지로 나눈다. 검색 크롤러는 검색엔진 색인을 위한 봇을, 훈련 크롤러는 AI 모델 학습을 위해 데이터를 수집하는 봇을, 에이전트 크롤러는 챗GPT처럼 사용자를 대신해 웹을 탐색·작동하는 봇을 각각 가리킨다. 이 세분화 옵션은 유료 고객뿐 아니라 무료 요금제 사용자에게도 동일하게 제공된다.
오는 9월 15일부터는 새로운 기본 규칙도 적용된다. 광고가 게재된 페이지에서는 훈련·에이전트 봇이 기본적으로 차단되며, 검색 크롤러만 계속 접근이 허용된다. 광고가 붙어 있다는 사실 자체가 사이트 운영자가 인간 방문자의 유입을 원한다는 신호로 해석된다는 게 클라우드플레어의 설명이다. 구글봇처럼 검색과 AI 학습을 동시에 수행하는 다목적 크롤러에는 더 엄격한 규칙이 적용될 예정이다. 클라우드플레어 CEO 매튜 프린스는 과거 구글이 검색용 크롤러와 AI 학습용 크롤러를 하나로 묶어 운영하는 방식을 공개적으로 비판한 바 있다.
프린스는 지난 6월 자사 네트워크에서 봇 트래픽이 처음으로 인간 트래픽을 넘어섰다고 밝혔는데, 이는 당초 2027년 말로 예상됐던 시점보다 훨씬 이른 것이다. 이런 흐름은 AI 크롤러의 급증이 웹 생태계 전반에 실질적 부담으로 작용하고 있음을 보여주는 근거로 꼽힌다. 클라우드플레어는 이번 정책 변경을 통해 콘텐츠 소유자가 AI 기업의 무분별한 수집을 걸러내면서도, 검색 노출은 유지할 수 있는 균형점을 제공하려는 것으로 풀이된다.
기업 고객을 위한 신규 기능도 함께 도입된다. 클라우드플레어는 대시보드에 검색 가능한 봇 데이터베이스 ‘봇베이스(BotBase)’를 새로 추가해, 각 봇의 분류와 콘텐츠 활용 방식(단순 링크 연결인지 전체 콘텐츠 재생산인지)을 확인할 수 있도록 했다. 인증된 봇에 대한 규정도 바뀐다. 기존에는 인증된 봇이면 자동으로 접근이 허용됐지만, 앞으로는 봇의 카테고리가 접근 여부를 결정하며, 봇 운영자는 정직한 신원 표시와 접근 권한의 오남용 방지를 스스로 입증해야 한다.
