蜘蛛进入站点后，除了读当前页面的内容，还会顺手把页面上的链接记下来，放进待抓列表。真正决定一个新 URL 能不能较快被发现的，往往不是首页，而是几个被反复经过的中间页面。把它们叫枢纽页比较直观：它们被大量内链指向，同时自己又给出大量出链。
枢纽页通常长什么样
- 首页、频道首页：天然被全站导航和面包屑指向。
- 栏目列表页、分页页：出链数量最多，一条链接对应一个详情页。
- 标签页、聚合页、专题页：把散落在不同栏目里的内容重新聚到一处。
- 站点地图页、导航页：专门为人和爬虫提供入口。
这几类页面的共同点是：抓取频次高，出链密度大。蜘蛛走到它们身上，等于一次拿到几十上百条线索。
为什么值得单独看这一类页面
站点的抓取路径基本是“首页→栏目→列表→详情”这样一层层往下走。如果中间某一层的出链断了、少了，或者都指向已经抓过的一批页面，后面的详情页就只能靠别的方式被发现，时间会被拉长。反过来，把枢纽页的出链补一补，等于在同一条抓取路径上多开了几个岔口。
三个常见问题
1. 出链太少
有的列表页一屏只放十条，翻页又是异步加载，HTML 里能看到的链接只有十条。蜘蛛抓完这十条就走人了，列表背后的内容一直排不上队。不用堆得密密麻麻，但至少让 HTML 里能直接看到一批稳定的链接。
2. 出链全指向同一批 URL
推荐位、热门位、相关阅读如果常年不变，枢纽页每次被抓到，给出的都是同样的几十条线索，等于在同一个位置绕圈。换一批、轮换一下展示逻辑，会让分发更均匀。
3. 分页和筛选把出链冲淡了
列表页加上排序、筛选、翻页参数后，同一个列表可能生成几十个 URL 形态。蜘蛛把抓取量花在这些组合上，反而没走到详情页。先给这些组合定好处理方式，比一味堆链接更有效。
怎么判断哪些页面在承担分发
- 日志里被访问次数最高、且每次访问都带出大量后续请求的页面。
- 站内链接统计中被其他页面指向次数明显偏高的页面。
- 抓取覆盖报告里“已抓取”数量大、但内容本身很薄的页面。
把这些页面列出来，再对照它们当前给出的链接，基本能看出抓取线索是从哪里断掉的。
枢纽页的调整是长期动作。改变一次内链结构后，蜘蛛重新走一遍需要时间，观察周期放在几周更合适。
调整的基本顺序
- 先确认枢纽页本身是可抓取的，没有被 robots、登录墙或渲染问题挡住。
- 再补齐 HTML 里可见的出链，优先指向还没有被收录过的内容。
- 减少指向同一批老页面的重复链接，让线索分布更散。
- 给列表页的分页加上明确的链接关系，让蜘蛛知道后面还有页。
做完这些，不必期待立刻有变化，但站点内部线索的通路会更清楚一些。抓取是路径问题，把中间那几站打通，后面的页面才有机会顺着走过来。