Cloudflare 推出了 “Markdown for Agents” 功能，使 AI 爬虫能够通过发送 请求头来获取网页的 Markdown 版本。该公司还同时提出了一种名为 “Content Signals” 的机制，允许内容发布者声明其内容是否可以用于 AI 训练、搜索索引或推理使用。
Nano Banana 教程
- Markdown for Agents：AI 代理通过 Accept 请求头指定 text/markdown 即可触发转换，一篇 16,180 个 token 的博客文章转换为 Markdown 后仅需约 3,150 个 token
- Content Signals：在 robots.txt 中插入 search、ai-input、ai-train 三个信号，声明内容是否允许被搜索索引、作为实时 AI 输入或纳入模型训练
- 市场反响：许多客户已部署托管的 robots.txt，允许搜索引擎抓取但禁止用于训练
谷歌的 John Mueller 在 Bluesky 上称这是”愚蠢的想法”，认为”扁平化”处理会丢失上下文与结构信息。
随着越来越多的发布者开始封锁 AI 爬虫或探索付费访问模式，围绕同意机制、补偿方式以及技术适配的争论将进一步加剧。
来源：InfoQ
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/277639.html原文链接：https://javaforall.net
