第二十三课 · 阶段六 GEO 生成引擎优化

让 AI 读得到你——技术这一关

内容写好了，还要能被目标产品访问和理解。训练抓取、搜索抓取和用户要求读取网页，是不同用途；各家的控制规则也不同。先表达你的内容使用意愿，再检查网站是否按这个意愿放行或限制访问。

学完本课，你能
1 让爬虫进得来

先分用途，再决定允许谁访问

不要把所有带 AI 名字的访问一刀切。下面是常见用途的简化分类；Google-Extended 是 robots.txt 产品控制标识，并不是一个独立的 HTTP 爬虫 User-Agent。

训练用途
GPTBot · ClaudeBot

厂商用来收集可能用于模型训练的内容。网站可用对应规则表达拒绝未来抓取的意愿；这不会自动撤回已收集的数据。

搜索用途
OAI-SearchBot · Claude-SearchBot · PerplexityBot

支持发现或检索网页，供搜索结果和回答使用。希望通过这条渠道被发现时，需要检查访问规则；放行不保证收录或引用。

用户触发
ChatGPT-User · Claude-User 等

用户要求读取网页时发生的访问。行为与 robots 遵守说明因厂商而异，不能直接套用搜索爬虫规则。

抓取控制要按具体产品判断
OpenAI 对 OAI-SearchBot 的说明把允许搜索抓取与出现在 ChatGPT 搜索答案中联系起来，但仍可能展示导航链接。不要扩大成「屏蔽一个 bot 后，任何 AI 都绝不会链接我」。抓取成功也只是访问记录，不能证明内容被引用，更不能证明已被用于训练。robots.txt 是抓取指令，私人内容应使用登录与访问权限保护。

核对入口：OpenAI bots、Anthropic 爬虫说明、Perplexity bots。实际配置前，以当前官方名称、用途和验证方式为准。

2 两个常见误解

Google-Extended 与 llms.txt，别想当然

误解一：屏蔽 Google-Extended 能让我从 AI 概览里消失。Google-Extended 管理部分 Gemini 产品对内容的训练与检索增强（grounding，用网页依据支撑回答）用途；它不控制 Google 搜索中的收录、排名或 AI 搜索功能。Google 搜索由 Googlebot 及搜索控制规则管理。参考Google 常见爬虫与产品控制标识。

限制 Google 搜索的内容展示时，应按目标考虑 nosnippet（不显示文本摘要）、data-nosnippet（限制指定片段）、max-snippet（限制摘要长度）或 noindex（不编入搜索索引）。这些控制各有范围，也影响普通搜索呈现，不必一律屏蔽 Googlebot。如果使用 noindex，要让爬虫能抓到并读取它；第 13 课已讲过 robots 与 noindex 的区别。详情见Google AI 功能的内容控制。

robots.txt · 拒绝部分训练抓取、允许对应搜索抓取的教学片段
User-agent: GPTBot          # OpenAI 训练爬虫
Disallow: /

User-agent: ClaudeBot        # Anthropic 训练爬虫
Disallow: /

User-agent: Google-Extended  # 部分 Gemini 训练与 grounding；不控制 Google 搜索
Disallow: /

User-agent: OAI-SearchBot    # 允许搜索抓取，不保证引用
Allow: /

User-agent: Claude-SearchBot # 允许搜索抓取，不保证引用
Allow: /

这段不是可覆盖整站的通用文件。合并现有规则，保留需要限制的目录；更具体的 User-agent 规则不能简单假定会继承 User-agent: * 的限制。robots 放行后，CDN 或防火墙仍可能阻挡请求，要分别检查。

误解二：加个 llms.txt 就能让大模型读懂我。llms.txt 是提供网站内容与链接的社区提案，不是 robots.txt 的替代品，也不是搜索收录、模型训练或引用保证。Google 明确其 AI 搜索功能不要求新增 AI 文本文件；其他产品是否读取、如何使用，应看各自官方说明，不能仅凭网站放了文件就推断已被采用。有明确的文档使用场景可尝试，不应排在索引、可访问性和内容质量之前。

也别指望「魔法结构化数据」
回到第 20 课：Google 官方说过，出现在 AI 概览不需要专门的 AI 标记或特殊 schema。结构化数据（第 16 课）确实有助于机器正确理解「这段是什么、谁写的」，但它不是「引用开关」——加了不保证被引用，没加也照样可能被引用。别把它当捷径迷信。
3 自查清单

把全课串成一份 GEO 清单

GEO 没有玄学开关，它是前面所有功课的延伸。逐项点开，既是自查，也是对整门课的回顾（点一项打勾并看讲解）：

4 随堂自测

点一点、填一填，检查你会了没

练 网站实操 · 约 25 分钟

检查自己网站的三层访问规则

  1. 写下你的意愿：希望参与哪些搜索体验，是否允许对应训练抓取，哪些内容必须保持私密。
  2. 打开网站根目录的 robots.txt，检查相关 User-agent、路径与现有通配组；再查看一个公开页面的 robots meta / X-Robots-Tag，以及它的可索引状态。
  3. 有权限时查看 CDN / 防火墙规则和近期日志。记录是否出现验证过的目标爬虫访问、请求是否成功；不要把仅有 User-Agent 字符串的请求当作已验证官方爬虫。
  4. 将期望与实际规则对照，写一份配置草稿及影响说明。无需修改线上配置就能完成本练习；无日志权限时明确写“未验证”。
交付与验收
提交用途 / bot / 当前规则 / 预期行为对照表、一个页面的摘要与索引设置，以及必要的配置草稿。验收：不混淆 Google-Extended 与 Googlebot、不覆盖既有目录限制、不把放行或日志访问当成引用保证。模板见实操手册。