赛博菩萨 Cloudflare，AI 爬虫最严厉的父亲

Cloudflare 于 7 月 1 日宣布 9 月 15 日起对所有使用其服务的网站默认屏蔽混合用途 AI 爬虫,将 AI 爬虫拆分为 Search/Agent/Training 三类单独管控,并加最严规则优先——站长只要屏蔽 Training,Googlebot/Applebot/BingBot 等混合爬虫一并被屏蔽。Cloudflare 公布 AI 公司爬取回流比悬殊:Google 14:1、OpenAI 1700:1、Anthropic 高达 73000:1,搜索引擎时代「我爬你内容、你得流量」的契约彻底崩坏。同时 Cloudflare 把去年 Pay Per Crawl 升级为 Pay Per Use「按价值收费」,意图构建 AI 内容交易市场;但被指既当裁判(拦截爬虫)又当运动员(自营爬虫 API 且早期屏蔽设置不生效),角色严重冲突。出版商因 AI 搜索功能损失 20%–90% 流量收入,Google AI Overviews 让外链点击下降 40%,但 Pay Per Use 仅 Ceramic.ai/You.com 两个小玩家加入,OpenAI/Google/Anthropic 均未上桌,小创作者「理论上能分到钱、实际更可能消失」。英国 CMA 正向 Google 施压要求出版商可独立退出 AI 训练,互联网「收费站」正从搜索引擎转向基础设施层。