7月2日消息，Cloudflare 在第二个"内容独立日"（Content Independence Day）发布一系列针对 AI 搜索经济的产品和政策更新。核心动作有两个：一是将去年推出的 Pay Per Crawl（按爬取付费）模式升级为 Pay Per Use（按使用付费），让内容创作者在作品被 AI 搜索引擎实际引用时获得报酬，而非仅在被爬取时收费；二是宣布自 2026 年 9 月 15 日起，默认屏蔽混合用途爬虫对含广告页面的访问，要求将搜索爬虫与训练、智能体爬虫分离。
Cloudflare 承载着互联网 20% 以上的流量，其默认设置的调整对整个 AI 爬虫生态的影响远大于单个网站的独立决策。但 Pay Per Use 目前仍处于实验阶段，仅与 Ceramic.ai 和 You.com 两家合作测试，距离大规模落地还有距离。
从 Pay Per Crawl 到 Pay Per Use：计价单位从爬取转向引用
Cloudflare 在博文中直接指出了 Pay Per Crawl 的局限：爬取是衡量价值的粗糙指标。一个页面可能被爬取一次后在数千条 AI 回答中被引用，也可能被反复爬取却从未被使用。Pay Per Use 的核心变化是将付费触发点从"页面被爬虫抓取"移至"内容出现在 AI 搜索结果中"。
目前有两个合作伙伴正在测试这一模式。Ceramic.ai 采用"按查询付费"（pay-per-query）模型，当出版商的内容出现在 Ceramic 的搜索结果中时触发付款。You.com 则允许 AI 智能体按需为特定的优质内容付费，无需预先承诺。两家的支付模型通过 Cloudflare 网络扩展至其覆盖的内容创作者。
参与 Ceramic 项目的内容所有者还可获得一套新的 AEO（Answer Engine Optimization，回答引擎优化）报告，包括触发内容出现的热门查询、具体页面和摘要片段、平均搜索结果排名等数据。Cloudflare 称这是其首批面向 AI 搜索可发现性的产品。
内容新鲜度信号：超过 50% 的 AI 爬取流量在抓取未变化的页面
Cloudflare 同步启动了一个研究项目，利用其网络中观测到的信号帮助 AI 搜索引擎更高效地爬取。Cloudflare 的数据显示，来自合规 AI 爬虫的爬取流量中，超过 50% 用于重新抓取未发生变化的页面。随着爬取总量增长，这一比例可能继续攀升。
该研究项目的逻辑是：Cloudflare 能够识别哪些页面发生了真实变化、哪些页面正在被人类和智能体频繁访问，将这些信号提供给搜索引擎后，爬虫可以跳过未变化的页面。这对搜索引擎意味着节省算力，对网站所有者意味着减少为无效请求买单。Cloudflare 表示该项目设计为中立的，面向所有"愿意公平行事"的搜索引擎开放，仅限搜索场景，不共享内容，不用于训练基础模型。计划在今年晚些时候向所有客户开放。
9 月 15 日新默认规则：混合爬虫在广告页面将被屏蔽
Cloudflare 同日宣布了一项将于 9 月 15 日生效的默认设置变更。新规则将 AI 爬虫分为三类：搜索（Search）、智能体（Agent）和训练（Training）。对于含有广告的页面，训练和智能体类爬虫将被默认屏蔽，仅搜索类爬虫默认允许。混合用途爬虫（如同时用于搜索和训练的爬虫）将按其最严格的分类处理，即如果一个爬虫同时执行搜索和训练任务，它将被归入训练类并被屏蔽。
Cloudflare CEO Matthew Prince 表示，这一变更旨在"鼓励混合用途爬虫将搜索、智能体使用和训练分离"。该规则适用于新客户、现有客户的新站点，以及所有未在 9 月 15 日前手动调整设置的免费套餐用户。付费客户可在控制面板中自行选择允许或屏蔽。
这一政策的行业影响取决于 Googlebot、Applebot、BingBot 等主要混合用途爬虫是否会在截止日期前将搜索和训练功能拆分为独立的爬虫。如果不拆分，这些爬虫将被 Cloudflare 网络中含广告的页面默认屏蔽。
Monetization Gateway：通过 x402 协议实现稳定币微支付
Cloudflare 还开放了 Monetization Gateway 的候补名单。这是一个基于 x402 开放协议的支付基础设施，允许 Cloudflare 客户对其保护下的任何资源（网页、数据集、API 或 MCP 工具）收费。支付以稳定币结算，金额可低至几分之一美分，不需要买方在卖方处注册账号，支付本身即为凭证。
x402 协议利用 HTTP 402（Payment Required）状态码实现机器对机器的自动付款。当客户端请求受保护资源时，服务器返回 402 响应和支付指令，客户端完成支付后自动获得访问权限。结算在 Base、Ethereum、Polygon、Solana 等链上进行，通常在一秒以内完成，手续费可忽略不计。该协议由 x402 基金会联合 25 家以上行业参与者共同开发。
Monetization Gateway 的目标场景不仅限于 AI 搜索，而是面向整个智能体经济中的内容和服务交易。
真正的杠杆在于 Cloudflare 的网络覆盖规模
Cloudflare 此次发布的产品和政策，单独来看都不是全新概念。按使用付费、内容新鲜度信号、爬虫分类管控、稳定币微支付，都已有先行者。但 Cloudflare 的差异化在于网络规模：20% 以上的互联网流量经由其网络，这意味着它的默认设置和信号标准有可能成为事实标准。9 月 15 日的混合爬虫屏蔽政策如果按计划执行，将是对主要搜索引擎爬虫的一次结构性施压，迫使它们将搜索和训练功能拆分，否则面临在 Cloudflare 网络中大面积丧失对广告页面访问权限的风险。
Pay Per Use 的实验阶段能否形成可持续的经济模型，取决于两个条件：一是 AI 搜索引擎是否愿意为引用内容付费，二是支付金额能否对中小型内容创作者构成有意义的收入。目前合作伙伴仅有 Ceramic.ai 和 You.com，均非主流 AI 搜索引擎。这一模式要想影响行业格局，需要 OpenAI、Google、Perplexity 等主要玩家加入。 关键节点在 9 月 15 日
9 月 15 日是这批公告中唯一带有硬性时间节点的变更。届时主要混合用途爬虫是否完成功能拆分、大型搜索引擎对 Cloudflare 新默认设置的反应方式，以及网站所有者的实际设置选择，将共同决定这次政策变更的实际影响幅度。Pay Per Use 和内容新鲜度信号项目均处于实验阶段，Cloudflare 承诺公开研究结果，但尚未给出具体时间表。Pew Research Center 2025 年的数据显示，当 Google 展示 AI 摘要时，用户点击传统搜索结果的比例仅为 8%，约为无摘要时的一半，点击摘要内链接的比例仅 1%。这一数据说明 AI 搜索对传统流量模式的侵蚀已经量化可见，但 Cloudflare 的解决方案能否真正重建内容创作者的收入通道，仍是一个待验证的命题。
