Cloudflare的新机器人偏好同步功能会自动将您的robots.txt文件与您的AI机器人搜索、代理和培训策略对齐。轻松管理哪些机器人可以访问您的内容，而无需维护静态文件。我们不断为客户的不同目标而努力。一些客户希望针对发现进行优化，而另一些客户则希望使用最严格的安全策略来保护其内容。
在这些不同的政策中，有多种方法可以缓解机器人流量。一些机制只是简单地说明您的偏好，假设爬虫的最佳意图，而其他方法实际上是通过使用机器人管理解决方案直接阻止来锁定内容。我们认识到，在您的网站上维护多层保护很麻烦。
例如，在某些情况下，您的robots.txt声明不允许爬虫访问您的网站，而您的执行规则实际上不会阻止该爬虫。当您声明的偏好与强制执行的规则不一致时，某些爬虫会将其视为无视您的偏好或试图绕过强制执行的规则的依据。
几年前， Cloudflare宣布了一种更简单的方法，通过解决其中两个层来禁止在您的网站上进行人工智能培训： robots.txt的托管值，该值告诉一组固定的主要培训爬虫不要根据您的内容进行培训，以及培训爬虫的边缘强制块。2026年7月1日，我们推出了更简单的选项来管理不同类型的人工智能流量用例。
您可以说明您希望如何处理网站上的搜索、代理和培训流量。我们宣布推出智能小助手偏好设置同步功能，适用于从免费会员等级到企业版的所有客户。机器人偏好同步通过将相应的偏好设置更新到robots.txt来反映您在人工智能机器人配置中设置的内容，并且可以随时打开或关闭。