AI 机器人的允许或阻止
按 AI 机器人分别选择谁可以读取您的网站:可出现在 AI 回答中、不用于训练,或全部关闭。并在边缘节点上设置强制阻止。
阅读需 2 分钟 · 更新于 2026年10月19日
借助 Netslim EdgeTM,您可以按 AI 机器人决定其能否读取您的网站。您可以在账户中找到它:Edge SEO › 搜索引擎和 AI › AI 机器人。它也位于 Edge Shield 中。
两种 AI 机器人
- 搜索与回答。 借此,AI 助手可以提及您、引用您并链接到您的网站。例如:OAI-SearchBot 和 ChatGPT-User(ChatGPT)、Claude-SearchBot 和 Claude-User(Claude)、PerplexityBot 和 Perplexity-User(Perplexity)。如果您阻止这些机器人,您将不再出现在这些回答中。
- 训练。 您的文本可能会被用于 AI 模型的后续版本。例如:GPTBot、ClaudeBot、CCBot、Google-Extended。阻止训练并不会使您从 AI 搜索中消失,因为那是由其他机器人负责的。
快速选择
- 全部允许:最有利于在 AI 中被找到。
- 允许出现在 AI 回答中,但不用于训练:AI 助手可以提及您,您的文本不会用于训练新模型。
- 全部阻止:列表中的 AI 机器人全部被阻止。这样您也将不再出现在 ChatGPT、Claude 和 Perplexity 的回答中。

想逐个机器人设置?请将其设为允许或阻止,然后点击保存。边缘节点会在一分钟内生效。
阻止后会发生什么
- 边缘节点会在您的 robots.txt 中添加一条规则(
User-agent: GPTBot并附带Disallow: /)。如果该机器人已经写在您网站的 robots.txt 中,边缘节点会删除这些规则,因此您自己添加的 “Allow” 不会解除阻止。 - 即使机器人不遵守 robots.txt,边缘节点也会以错误代码 403 拦截它。某些在用户请求时实时抓取页面的机器人(例如 ChatGPT-User 和 Perplexity-User)有时会这样做。
Google-Extended 和 Applebot-Extended 并不是会主动访问网站的机器人,而是通过 robots.txt 达成的约定。Google 和 Apple 会遵守这些约定;因此无需 403。
我们从不阻止的机器人
Googlebot、Bingbot 和 Applebot 不在列表中。我们从不阻止它们:否则您将从 Google、Bing 和 Siri 中消失。Google 也会在 AI Overviews 中使用普通的 Googlebot,Copilot 则通过 Bing 搜索。如果您不希望 Google 将您的文本用于 Gemini,请选择 Google-Extended。
生效速度如何?
403 会在一分钟内生效。机器人并不会在每次访问时都读取 robots.txt:大多数每天查看一次,有些会保留数周。在此之前,由 403 发挥作用。
真假如何辨别?
对于 OpenAI 和 Perplexity,我们会将每次访问与其公布的 IP 地址进行比对。冒充其机器人但并非来自其 IP 的访问,将被视为假冒。对于 Google、Bing 和 Apple,我们通过 DNS 进行验证。“阻止假机器人”默认开启:边缘节点会以 403 拦截这些假冒访问。可在 AI 机器人页面底部的“假机器人”中关闭。