TECH SPEC
robots.txt 放行 AI 爬虫
默认 robots 规则可能把生成式引擎的爬虫挡在门外。显式放行，你的内容才会进入 AI 的答案池。本页给出现役 AI 爬虫的 User-Agent 清单与写法。
一句话
在 robots.txt 里对主流 AI 爬虫写 Allow: /，并保留 Sitemap 指向；注意 robots.txt 只在域名根目录生效。
为什么要显式放行
许多站点的 robots 默认只放行 Googlebot、Bingbot，对 GPTBot、ClaudeBot 等要么未声明、要么被通配 Disallow 误伤。生成式引擎依赖各自的爬虫抓取网页做检索语料，被挡住就直接失去被引用的机会。主动放行，是 GEO 技术落地的第一步。
现役 AI 爬虫 User-Agent
| 厂商 / 引擎 | User-Agent 标记 | 说明 |
|---|---|---|
| OpenAI | GPTBot / OAI-SearchBot | GPT 训练与 ChatGPT 搜索检索 |
| Anthropic | ClaudeBot / Claude-SearchBot | Claude 训练与检索 |
| Perplexity | PerplexityBot | Perplexity 答案检索 |
Google-Extended | Gemini / AI Overviews 检索（独立于 Googlebot） | |
| AI2 | AI2Bot | AllenAI 研究爬虫 |
| Amazon | Amazonbot | Alexa / 购物助手检索 |
| Apple | Applebot-Extended | Apple 智能功能检索 |
| 字节跳动 | Bytespider | 豆包 / 即梦等中文 AI 检索（中文生态关键） |
| Dataminr / 其它 | meta-externalagent 等 | 各平台陆续新增，建议以官方文档为准 |
放行写法
User-agent: *
Allow: /
# 放行生成式引擎爬虫
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: AI2Bot
Allow: /
User-agent: Amazonbot
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Bytespider
Allow: /
Sitemap: https://www.crazyowen.cn/geo/sitemap.xml根目录才生效
⚠ 关键限制
robots.txt 只在域名根目录生效。https://www.crazyowen.cn/geo/robots.txt 这类子路径版本对搜索引擎无效。本教程站把放行规则写在 /geo/robots.txt 仅作示例；真正上线时应把上面的「放行 AI 爬虫」段合并进 crazyowen.cn 域名根的 robots.txt，Sitemap 那行指向 https://www.crazyowen.cn/geo/sitemap.xml。
中文生态注意
- Bytespider 是字节跳动的爬虫，影响豆包、即梦等中文 AI 的检索结果，务必放行；
- 百度系 AI 依赖其通用爬虫（Baiduspider）与搜索资源平台收录，传统 SEO 的放行规则基本覆盖；
- 腾讯元宝大量调用公众号内容池，公众号内的内容由平台内部分发，不受站点 robots 约束。
如何验证
部署后访问 https://你的域名/robots.txt 确认 AI 爬虫段存在；用各厂商提供的验证工具（如 OpenAI 的 crawler 文档）检查是否被放行。也可用本站根目录 robots 补丁段直接合并。