第二课 · 完全新手向

搜索引擎搜的不是互联网,
是它的「藏书库」

按下回车的那零点几秒里,Google 并没有当场翻遍全网——它查的是自己提前抓取、整理好的索引。理解「抓取 → 索引 → 排名」这条流水线,后面所有 SEO 知识都有了挂靠点。

学完这一课,你能做什么
区分发现、抓取、索引与展示;找到一个网页的发现入口;知道怎样确认收录状态,以及「搜不到」应先检查什么。
1 三步流水线

从网页到搜索结果,要过三关

1抓取 Crawl
发现 + 下载

爬虫(如 Googlebot)沿着链接在网上「爬行」,发现新页面并下载内容。

2索引 Index
解析 + 入库

解析页面内容,判断值不值得收录,存进一个巨大的数据库——索引。

3排名 Rank
检索 + 排序

用户搜索时,从索引里挑出相关页面,按大量信号排序后展示。

这是一条便于理解的主流程,每一步都不保证下一步:被发现不等于会抓取,被抓取不等于会收录,收录不等于会为你的目标词展示。以后页面「搜不到」,先检查抓取和索引,再讨论排名。少数未抓取的 URL 也可能因外部信息被索引,但正常理解页面仍依赖抓取。

2 爬虫与链接

链接是主要的路,sitemap 是发现线索

爬虫从已知页面出发,把页面里的链接加入「待抓取队列」,再一个个访问。下面是一个 7 页的小网站——亲手当一回爬虫:

注意右上角那个孤岛页:这个模拟只沿站内链接走,所以走不到它。真实搜索引擎还可能从外部链接、sitemap(站点地图,URL 清单)或先前已知的 URL 发现页面。即使能被其他入口发现,没有站内入口仍会让用户和爬虫难以理解它的位置。

3 索引

抓到了 ≠ 收录了

抓取回来的页面还要过一道质量关。这几类页面即使被抓取,也可能进不了索引:

粗看一个网站有哪些结果,可以搜 site:你的域名,但它不是完整索引清单:没搜到不能直接判定未收录。有网站管理权限时,用 Google Search Console 的「网址检查」查看具体 URL 的索引状态;它的实时测试检查当前可访问性,不等于已经收录(第 24 课专讲)。

新站没被收录,先排查具体原因
看页面有没有发现入口、是否正常返回内容、是否被登录或抓取规则挡住,再看 noindex、重复页面和内容价值。提交 sitemap 或请求索引只是提供线索,不是保证收录;没有外部链接也不代表一定无法发现。
4 排名

排序的依据:相关性、质量、体验、权威

同一个搜索,索引里可能有几百万个候选页面。排序时会综合大量信号(业内常说有几百个),大方向包括:

没有人知道完整的权重清单
Google 不公开算法细节,从业者只能靠官方文档和实验推断——所以对「保证第一名」的承诺要保持警惕。好消息是:大方向是公开的,就是这门课接下来五个阶段要讲的全部内容。
5 随堂自测

点一点、填一填,检查你会了没

动手实践 · 15 分钟

为项目中的一个页面画出发现路径

  1. 挑一个重要 URL,在浏览器打开,记录是否正常显示正文,是否需要登录。从首页开始找一条可点击的路径通向它。
  2. 在 Google 搜完整 URL 和 site:你的域名,把结果记为「搜索观察」,不要把无结果写成确定未收录。
  3. 有网站权限时,在 Search Console 的「网址检查」记录索引状态与原因;没有权限时,写下需要网站所有者提供的这项证据。
验收:能区分证据与推测
提交「首页 → 栏目 → 目标页」路径、访问结果、搜索观察和索引检查结果(或待确认项)。指出问题可能处于哪一步,并写出下一项检查;不要仅凭等待天数下结论。