뉴스레터 플랫폼 beehiiv와 네트워크 보안 기업 Cloudflare가 2026년 6월 23일 AI 크롤러 제어 통합 기능을 발표했다. Cloudflare의 AI Crawl Control 기술이 beehiiv 대시보드 안에 직접 내장돼, 플랫폼의 13만5천 명 퍼블리셔가 코드 수정 없이 AI 검색 엔진과 AI 에이전트 크롤러를 개별적으로 차단하거나 허용할 수 있게 됐다. beehiiv는 이 기능을 즉시 사용자에게 적용한다고 밝혔다.
이번 통합은 AI 시스템의 웹 트래픽 점유율이 빠르게 커지면서 개인 창작자들이 대응에 나설 수 없었던 문제를 해소하기 위해 마련됐다. 기존에는 AI 크롤러를 막으려면 robots.txt 파일을 직접 수정하거나 방화벽 규칙을 작성해야 했는데, 대부분의 1인 미디어 운영자는 이 작업을 수행하기 어려웠다. 대시보드에 기능이 통합되면서 퍼블리셔는 어떤 크롤러가 콘텐츠에 접근하는지 실시간으로 확인하고, 특정 모델의 크롤러는 차단하면서 다른 크롤러는 허용하는 세밀한 설정을 클릭 한 번으로 적용할 수 있다. Cloudflare에 따르면 새 크롤러가 등장하면 목록이 자동으로 갱신된다.
Cloudflare는 2025년부터 신규 고객에 대한 AI 크롤러 기본 차단을 시작하고, AI 기업이 콘텐츠 접근에 대가를 지불하는 Pay Per Crawl 마켓플레이스를 운영하는 등 창작자 보호 정책을 강화해 왔다. 올해 1월에는 라이선스 콘텐츠 유통 스타트업 Human Native를 인수해 저작권자 측면의 도구 생태계를 확충했다. Cloudflare 공동창업자이자 CEO인 매튜 프린스는 beehiiv 파트너십이 “블로거부터 대형 매체까지 콘텐츠 창작자에게 AI 기업과의 협상에서 투명성과 통제권을 부여하는” 다음 단계라고 표현했다.
beehiiv는 구독자 매출을 가져가지 않고 퍼블리셔가 직접 독자층을 보유하는 구조로 운영된다. 공동창업자이자 CEO인 타일러 덴크는 AI가 독자가 콘텐츠를 발견하는 방식을 바꾸고 있는 만큼 창작자가 그 레버를 직접 쥐어야 한다고 강조했다. Cloudflare 입장에서는 beehiiv 통합이 창작자 경제로의 진입로를 확보하면서 Pay Per Crawl 모델의 적용 범위를 넓히는 전략적 확장이기도 하다.
