第十三课 · 阶段四技术 SEO

告诉爬虫：哪能去，哪别收

阶段四开始处理「技术管道」。第一件事，是学会对爬虫下两种完全不同的指令：「别抓取」和「别收录」。它们用的是不同的工具，搞混了——轻则白忙，重则整站从搜索里消失。

学完你能做什么

按目的选择 Disallow、noindex 或访问权限；检查爬虫是否能读到指令；通过 robots.txt 报告与网址检查核验结果，避免误挡全站。

1 robots.txt 是什么

放在门口的一张「爬虫须知」

robots.txt 是一个放在网站根目录（yoursite.com/robots.txt）的纯文本文件。爬虫来访时先读它，看看哪些路径不欢迎抓取。它遵循一份公开协议（2022 年正式标准化为 RFC 9309），主流搜索引擎都认。

robots.txt · 一个最小示例

User-agent: *          # 对所有爬虫生效
Disallow: /admin/     # 别抓 /admin/ 这个目录
Disallow: /cart       # 别抓购物车相关路径
Allow: /admin/help   # 但 /admin/help 例外，可以抓

Sitemap: https://yoursite.com/sitemap.xml   # 顺便告诉它 sitemap 在哪

User-agent：这段规则针对哪个爬虫，* 表示所有；
Disallow：不希望被抓取的路径；Allow：在被禁的范围里开个口子；
Sitemap：顺手指明站点地图位置（第 14 课）。

最危险的一行：Disallow: /

在对应 User-agent 分组中，一条斜杠代表「整站都别抓」。上线时误留它会阻止内容抓取和更新，严重影响搜索表现，但不等于立即删除已有索引。开发环境需要保密时应使用访问权限。修改后检查实际文件，并用 Search Console 的 robots.txt 报告查看读取情况、网址检查的实时测试核对具体页面是否允许抓取。

2 抓取 ≠ 收录

robots.txt 拦不住「出现在搜索结果里」

这是新手最容易踩的坑，也是本课最重要的一句话：robots.txt 管的是「抓不抓」，不是「收不收」。

Google 说得很直白：robots.txt「不是把网页挡在搜索之外的手段」。一个被 Disallow 的网址仍可能经站内或站外链接被发现并出现在结果中；因为无法抓取正文，摘要等信息可能缺失或受限。

换句话说，你想让一个页面「消失」，却只屏蔽了抓取，结果反而留下一个光秃秃、你无法控制文案的搜索结果。想真正不被收录，要换一个工具——noindex。

你的真实目的	该用的工具	为什么
别浪费爬虫资源去抓某块目录	robots.txt 的 Disallow	它就是用来控制「抓取」的。但注意：不保证这些页不出现在搜索里。
公开页面要保留，但不希望被收录	noindex（下一节）	让支持该指令的引擎在抓取并读到它后排除页面；生效需要时间。
页面含私密信息，不能被外人看到	登录 / 密码保护	robots.txt 和 noindex 都只是「请求」，挡不住直接访问；真正的隐私要靠权限控制。

页面已永久删除时，返回 404 或 410；私密内容用权限保护；紧急隐藏已出现的结果，可在 Search Console 申请临时移除，同时落实长期措施。不要把「加 noindex」理解为所有场景唯一的删除方法。

致命陷阱：想不被收录，却把页面也 Disallow 了

noindex 要生效，前提是爬虫能读到它。如果你既写了 noindex、又在 robots.txt 里 Disallow 了这个页，爬虫根本进不来、看不到那条 noindex 指令——页面反而可能继续被收录。记住：要 noindex 的页，就不要再 Disallow 它。

3 noindex 怎么下

两种写法：meta 标签与响应头

要让一个页面「可以抓，但别收录」，用 noindex 指令。两种常见写法：

写法一 · 放进 HTML 的 <head>（最常用）

<meta name="robots" content="noindex">

写法二 · HTTP 响应头（适合 PDF、图片等非 HTML 文件）

X-Robots-Tag: noindex

meta robots 写在页面头部，最直观，适合普通网页；
X-Robots-Tag 由服务器在响应头里发送，能给非网页文件（PDF、图片）也加上 noindex；
nofollow 是另外的链接处理提示，不是 noindex 的必要搭配，也不能阻止目标网址从其他来源被发现。只想不收录当前页时，通常先用 noindex 即可。

robots.txt 里写 noindex 没用

Google 不支持在 robots.txt 中填写 noindex。请通过 HTML meta 标签或 HTTP 的 X-Robots-Tag 发送，确保页面可抓取并等待重新处理。不能只看到代码存在就宣布索引已经移除。

4 对号入座

这些情况，该用哪个工具？

给每个场景点一个：目的是「别抓取」用 robots.txt，目的是「别出现在搜索里」用 noindex。点错会给提示。

5 随堂自测

点一点、填一填，检查你会了没

练真实页面练习 · 20 分钟

先写目的，再核对指令

为自己的网站列 3 个场景：公开指南、公开但不想搜索到的确认页、含私密资料的后台。分别写「可抓取 / 可收录 / 可访问」的期望。
只读检查 /robots.txt、对应 HTML 的 meta robots 和响应头。没有权限时用公开站点练习识别，不把示例中的 Disallow: / 复制到线上。
有 Search Console 权限时，用网址检查的实时测试查看是否可抓取、是否检测到 noindex；另看已索引状态及上次抓取时间。需要改动时先留原文件与规则范围，再在测试环境验证。

验收

交付 3 行「目的—工具—核验结果」表。私密页依靠权限；保留但不收录的页允许抓取且能读到 noindex；公开指南未被误挡。明确区分「实时测试发现指令」和「Google 已重新处理索引」。