蜘蛛发现 URL，主要靠外链和站内链接。外链不可控，站内链接可控。很多站点把新页面直接塞进首页，首页链接越来越多，蜘蛛反而不知道先抓哪个。更稳的做法是建立几个枢纽页，让蜘蛛从入口页顺着分发层走到目标页，而不是每个页面都指望首页给一个链接。

什么是枢纽页和分发层

枢纽页本身不一定有很高权重，它的作用是把链接集中起来，形成一条清晰的抓取路径。比如一个栏目页，下面挂着该分类的几十篇文章；一个标签页，聚合了同一主题的内容；一个按时间排序的归档页，把过去发布的内容按顺序列出来。蜘蛛进入枢纽页后，可以一次性看到一批 URL，再决定抓取哪些。

分发层则是枢纽页之间的连接关系。首页指向几个主要栏目，栏目指向子栏目或列表页，列表页再指向具体内容页。层级越清楚，蜘蛛越容易在有限的抓取次数里覆盖更多有效页面。

常见的几类分发层

栏目与列表页

这是最基础的分发层。栏目页要保证列表里的链接是可直接抓取的 a 标签，不要只靠 JavaScript 点击加载。列表不要全部塞进一页，也不要把分页藏得太深。分页链接如果写成纯参数形式，蜘蛛也能抓，但要注意参数不要无限组合。

标签与聚合页

标签页适合内容量大的站点。它的优势是能把不同栏目下同一主题的页面聚在一起，给蜘蛛多一条到内容页的路径。但标签页容易失控：一个页面挂几十个标签，每个标签又只有一两篇文章，就会产生大量低价值枢纽。建议只保留有持续内容、有明确主题的标签，并控制标签页上的链接数量。

归档与专题页

按时间归档的页面，适合把历史内容重新暴露给蜘蛛。专题页则适合把一次活动、一个系列的内容集中起来。这两类页面更新频率不高，但可以作为长期存在的分发入口。需要注意的是，归档页如果按日期无限翻页，蜘蛛可能会在翻页上消耗过多抓取量，最好只保留近期归档，旧内容通过 Sitemap 交代。

检查分发层是否有效

可以从日志和抓取统计里看几个信号：

• 目标页的抓取是否主要来自枢纽页，而不是全靠外链或提交；
• 枢纽页本身是否被稳定抓取，如果枢纽页都很少被抓，下面的页面更难被发现；
• 从入口页到目标页的点击距离，是否控制在三到四次跳转以内；
• 是否存在大量只有一条入口链接、且入口页本身很少被抓的页面。

如果发现某类页面长期没有抓取，可以先检查它的上级枢纽页是否正常。很多“页面不被发现”的问题，其实是中间某一层链接断了，或者那一层被 noindex、被 robots 拦截、被 JS 隐藏了。

和 Sitemap 的分工

Sitemap 适合告诉蜘蛛“有哪些 URL 存在”，但它不负责解释页面之间的关系。枢纽页和分发层负责的是路径：蜘蛛从哪个入口进来，先看什么，再看什么。两者配合，Sitemap 做清单，内链做导览。不要把 Sitemap 当成唯一发现渠道，也不要把所有希望都压在首页链接上。

最后，分发层不是越多越好。入口太多、路径太乱，蜘蛛反而容易在同一个层级反复打转。保持几个稳定的枢纽页，让链接位置和锚文本清晰，蜘蛛的抓取路线就会更顺。