第二课 · 完全新手向
搜索引擎搜的不是互联网,
是它的「藏书库」
按下回车的那零点几秒里,Google 并没有当场翻遍全网——它查的是自己提前抓取、整理好的索引。理解「抓取 → 索引 → 排名」这条流水线,后面所有 SEO 知识都有了挂靠点。
学完这一课,你能做什么
区分发现、抓取、索引与展示;找到一个网页的发现入口;知道怎样确认收录状态,以及「搜不到」应先检查什么。1 三步流水线
从网页到搜索结果,要过三关
1抓取 Crawl
发现 + 下载爬虫(如 Googlebot)沿着链接在网上「爬行」,发现新页面并下载内容。
2索引 Index
解析 + 入库解析页面内容,判断值不值得收录,存进一个巨大的数据库——索引。
3排名 Rank
检索 + 排序用户搜索时,从索引里挑出相关页面,按大量信号排序后展示。
这是一条便于理解的主流程,每一步都不保证下一步:被发现不等于会抓取,被抓取不等于会收录,收录不等于会为你的目标词展示。以后页面「搜不到」,先检查抓取和索引,再讨论排名。少数未抓取的 URL 也可能因外部信息被索引,但正常理解页面仍依赖抓取。
2 爬虫与链接
链接是主要的路,sitemap 是发现线索
爬虫从已知页面出发,把页面里的链接加入「待抓取队列」,再一个个访问。下面是一个 7 页的小网站——亲手当一回爬虫:
注意右上角那个孤岛页:这个模拟只沿站内链接走,所以走不到它。真实搜索引擎还可能从外部链接、sitemap(站点地图,URL 清单)或先前已知的 URL 发现页面。即使能被其他入口发现,没有站内入口仍会让用户和爬虫难以理解它的位置。
3 索引
抓到了 ≠ 收录了
抓取回来的页面还要过一道质量关。这几类页面即使被抓取,也可能进不了索引:
- 内容太薄:没几句话、没有独立价值的页面;
- 大面积重复:和站内或站外其他页面高度雷同;
- 被主动排除:页面标了 noindex(「请不要收录我」,第 13 课细讲);搜索引擎需要能抓取到这条指令才能处理它。
粗看一个网站有哪些结果,可以搜 site:你的域名,但它不是完整索引清单:没搜到不能直接判定未收录。有网站管理权限时,用 Google Search Console 的「网址检查」查看具体 URL 的索引状态;它的实时测试检查当前可访问性,不等于已经收录(第 24 课专讲)。
新站没被收录,先排查具体原因
看页面有没有发现入口、是否正常返回内容、是否被登录或抓取规则挡住,再看 noindex、重复页面和内容价值。提交 sitemap 或请求索引只是提供线索,不是保证收录;没有外部链接也不代表一定无法发现。
4 排名
排序的依据:相关性、质量、体验、权威
同一个搜索,索引里可能有几百万个候选页面。排序时会综合大量信号(业内常说有几百个),大方向包括:
- 相关性:内容和这次搜索对得上吗?(关键词、意图——阶段二)
- 质量:内容可靠、完整、有独立价值吗?(内容、E-E-A-T——阶段三)
- 体验:打开快不快、移动端好不好用?(技术——阶段四)
- 权威:有多少可信的地方提到你?(链接、品牌——阶段五)
没有人知道完整的权重清单
Google 不公开算法细节,从业者只能靠官方文档和实验推断——所以对「保证第一名」的承诺要保持警惕。好消息是:大方向是公开的,就是这门课接下来五个阶段要讲的全部内容。
5 随堂自测
点一点、填一填,检查你会了没
动手实践 · 15 分钟
为项目中的一个页面画出发现路径
- 挑一个重要 URL,在浏览器打开,记录是否正常显示正文,是否需要登录。从首页开始找一条可点击的路径通向它。
- 在 Google 搜完整 URL 和
site:你的域名,把结果记为「搜索观察」,不要把无结果写成确定未收录。 - 有网站权限时,在 Search Console 的「网址检查」记录索引状态与原因;没有权限时,写下需要网站所有者提供的这项证据。
验收:能区分证据与推测
提交「首页 → 栏目 → 目标页」路径、访问结果、搜索观察和索引检查结果(或待确认项)。指出问题可能处于哪一步,并写出下一项检查;不要仅凭等待天数下结论。