클라우드플레어가 검색용 크롤러와 AI 에이전트·학습용 크롤러를 분리하도록 AI 업계에 새로운 시한을 제시했다. 회사는 오는 9월 15일부터 광고가 게재된 페이지에 대해 ‘혼합 사용’ 크롤러를 기본 설정으로 차단한다고 발표했다. 검색과 에이전트 활용, 학습 목적을 뒤섞어 수행하는 크롤러는 사이트 운영자가 별도로 설정을 조정하지 않는 한 기본적으로 크롤링이 차단된다는 의미다. 이 새 기본 정책은 신규 클라우드플레어 고객과 기존 고객이 새로 개설하는 사이트, 그리고 모든 기존 무료 고객에게 적용된다.
이번 조치는 AI 모델 제공업체들이 학습용 콘텐츠를 확보하고 에이전트형 서비스를 구동하는 방식에 영향을 줄 수 있다. 클라우드플레어는 대다수 웹사이트 운영자가 자사 콘텐츠가 검색을 통해 발견되길 원하는 동시에 AI 서비스를 통해서도 노출되길 원하지만, 지식재산이 무단으로 활용되는 데 대해서는 보호받고 싶어한다고 짚었다. 회사는 특히 ‘세계 최대 검색엔진’을 콕 집어, 해당 업체가 AI 학습에 활용되지 않으면서 검색 노출만 유지하기는 어렵게 만들어 다른 AI 기업 대비 약 2배 많은 정보에 접근하고 있다고 지적했다. 이는 사실상 구글을 겨냥한 발언으로 해석된다.
구글은 이 같은 지적에 대해 사이트 운영자가 AI 학습·제품 활용을 거부할 수 있는 ‘구글 익스텐디드’ 봇을 제공하고 있으며, 이를 사용해도 검색 노출에는 영향이 없다고 반박해왔다. 다만 AI 오버뷰나 AI 모드 같은 검색 내 AI 기능을 포함한 구글봇 자체는 검색을 위해 계속 크롤링을 수행한다. 클라우드플레어의 매튜 프린스 최고경영자(CEO)는 “인터넷 트래픽의 대다수가 이제 비인간(봇) 트래픽인 만큼, 지속가능한 생태계가 조성되도록 더 나아가고 더 빠르게 움직여야 한다”고 발표문에서 밝혔다. 이는 최근 봇 트래픽이 인간 트래픽을 처음으로 앞지른 시점을 언급한 것으로, 당초 예상보다 1년가량 앞당겨진 변화라고 회사 측은 설명했다.
클라우드플레어는 그동안 AI 봇의 무단 스크래핑에 대응해 웹사이트가 AI 봇의 크롤링에 요금을 부과할 수 있는 ‘페이퍼크롤(Pay Per Crawl)’ 마켓플레이스 등의 도구를 선보여 왔으며, 이번에는 이를 ‘페이퍼유즈(Pay Per Use)’로 확장한다고 밝혔다. 콘텐츠가 단순히 수집될 때가 아니라 실제 가치를 창출할 때 AI 기업에 요금을 부과하는 방식이다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 절반 이상이 변경되지 않은 페이지를 다시 가져오는 데 소모되고 있어, 이번 조치가 퍼블리셔의 대역폭과 컴퓨팅 자원을 아끼는 효과도 있을 것으로 기대된다. 회사는 우선 세라믹AI(Ceramic.ai)와 유닷컴(You.com) 두 파트너와 이 모델을 시작하며, 퍼블리셔가 참여를 선택하면 자사 콘텐츠가 이들 서비스의 AI 검색 결과에 활용되거나 프리미엄 콘텐츠에 접근될 때 대가를 받게 된다. 퍼플렉시티가 전문 영역 AI 에이전트를 잇달아 선보이며 AI 기업과 콘텐츠 제공자 간 관계가 다각화되는 가운데, 클라우드플레어의 이번 정책이 업계 전반의 표준으로 자리잡을지 주목된다.
