爬网页要收费了！AI应用成本再度增高！Cloudflare宣布新实验

作者

Cloudflare刚刚宣布了一个震撼性的实验：AI爬虫想要抓取网站内容？先交钱！ 这个被称为”按爬取付费”（pay per crawl）的机制，正在悄然改变AI获取信息的游戏规则。

这次更新主要包含两大“劝退”功能：

  • 默认“闭门羹”：所有新注册 Cloudflare 服务的网站，将被默认设置为阻止 AI 爬虫访问。这意味着网站所有者无需任何手动操作，就能对那些不请自来的数据“饕餮客”说不。 “按次付费”实验（Pay per Crawl）：Cloudflare 启动了一项名为“按次付费”的私人测试。在这个模式下，AI 爬虫想访问内容，就必须在请求中“表明诚意”——也就是附带支付意图。
  • 从技术角度看，这套机制的设计堪称一种简单粗暴的优雅。当一个 AI 爬虫发出访问请求时，如果其请求头中没有携带有效的支付意图，服务器将直接返回一个经典但罕见的 HTTP 状态码：402 Payment Required（需要付款）。这就像在网站门口雇了个数字保镖，没带钱的访客连门都进不去。Cloudflare 负责处理这背后的交易技术架构，让网站主可以轻松地为自己的内容明码标价。

这一举措的背后，是内容创作者和出版商日益加剧的生存焦虑。正如 Cloudflare 的 CEO Matthew Prince 所言，人们越来越习惯于从 AI 聊天机器人那里获得答案，却很少点击查看信息的原始来源，这直接切断了网站赖以生存的广告收入来源。当原创内容无法带来回报，互联网的活力便岌岌可危。Cloudflare 的新政，本质上是为内容创作者提供了一个反制工具，让他们能从那些利用其数据训练出千亿参数模型的 AI 公司身上，拿回属于自己的那份价值。

“原创内容是互联网之所以伟大的基石，” Prince 在声明中强调，“我们的目标是将权力交还给创作者，同时帮助 AI 公司以一种可持续的方式进行创新。这是一个为所有人服务的新模式，旨在保护一个自由且充满活力的互联网的未来。”

显然，这只是一个开始。Cloudflare 设想未来可能出现一个动态定价的市场，允许发布者根据内容的不同类型（例如，一篇深度分析文章的抓取费用高于一条普通新闻）收取不同的费用。这场围绕数据价值的博弈才刚刚拉开序幕，但风向已经变了。AI 的“数据自助餐”时代可能即将结束，一个万物皆有价的“付费抓取”时代，或许正在到来。

这场实验到底是好是坏？

从内容创作者的角度来看，这简直是久旱逢甘露。想想看：

  • 《时代》杂志、美联社等大型出版商已经加入，说明这个需求是真实存在的

  • 创作者终于可以从自己的内容中获得应有的收益

  • 这可能催生出一个全新的”内容授权市场”

    有很多博主抱怨：”我花费大量时间写技术文章，结果AI训练完就把我的知识’学走了’，用户直接问AI而不来我的网站。现在终于有机会让AI公司为使用我的内容付费了。”

但硬币的另一面同样值得关注：

  • AI训练成本将大幅上升，可能导致只有大公司才玩得起AI
  • 小型AI创业公司可能因为无法承担数据成本而夭折
  • 用户最终可能面临更昂贵的AI服务

更令人担忧的是，这可能创造一个”信息不平等”的世界——有钱的AI能获取优质内容，没钱的AI只能”吃剩饭”。

可能的连锁反应

这个看似简单的收费机制，可能引发一系列意想不到的后果：

  1. AI公司的”内容军备竞赛” 想象一下，OpenAI、Google、Meta等巨头开始疯狂竞价购买优质内容的访问权。这场竞争的激烈程度，可能不亚于当年的”人才争夺战”。

  2. 内容创作者的”分化” 一些创作者可能因为AI付费而获得意外收入，但另一些可能因为定价过高而失去AI流量，最终影响知名度。

  3. 用户体验的”倒退” 如果AI无法获取最新信息，我们可能回到”搜索引擎+人工筛选”的时代。你还记得没有AI助手的日子吗？

未来会怎样？三种可能的结局

  • 可能一：共赢模式 

    AI公司、内容创作者、用户三方找到平衡点。AI公司通过付费获得高质量内容，创作者获得稳定收入，用户享受更好的AI服务。这是最理想的结局。

  • 可能二：分裂模式 

    互联网分化为”付费区”和”免费区”。高端AI服务只能访问付费内容，而免费AI只能使用开放内容。这可能加剧数字鸿沟。

  • 可能三：对抗模式 

    AI公司开发更先进的爬虫技术绕过付费机制，而内容保护技术也不断升级。这将演变成一场永无止境的技术军备竞赛。

当下，行业纷纷强调要打造对AI友好的工具与网页，验证码、登录框等元素已备受诟病。

对标Jina AI，firecrawl推出两项新功能…

Karpathy最新分享！给大模型做好“服务”将是巨大机会

然而，Cloudfare不仅未取消这些设置，反而开始收费。 那么，你认为这一新政策是阻碍AI发展的绊脚石，还是开创面向AI内容消费全新商业模式的探路者呢？留下你的高见！

参考：https://blog.cloudflare.com/introducing-pay-per-crawl/

公众号回复“进群”入群讨论。

（文：AI工程化）

发表评论