新栏目、新目录上线之后，蜘蛛的反应通常不是“立刻抓完”，而是一段有快有慢的爬坡过程。理解这个过程，比每天盯着抓取总量更有用，因为它决定了你该在哪一步补什么动作。
爬坡的四段节奏
1. 发现：第一个 URL 从哪来
蜘蛛要先知道这个地址存在。常见的入口有三类：站内导航或栏目页上的内链、Sitemap 中的 URL 清单、以及站外入口（外部链接、分享、站点群等）。三者作用并不相同：内链决定它是否被当成站内正常内容，Sitemap 决定清单是否完整，站外入口更多只影响“第一次访问什么时候发生”。
如果新目录只有站外入口、没有站内入口，蜘蛛来过一次之后往往就断了——它不会把一个孤立地址记成需要长期回访的对象。
2. 试探：来得少、抓得浅
初次到达时，蜘蛛一般只取少量页面，抓取深度也浅。这一段不必急着改结构，重点看两件事：服务器响应是否稳定，以及这个目录里有没有可继续展开的链接。
3. 扩散：内链把 URL 带出去
当蜘蛛确认目录可抓、内容在更新，它就会顺着列表页、分页、相关阅读等链接向外扩展。此阶段最怕两类结构问题：一是列表页要靠交互才能出现新链接，抓取队列拿到的 HTML 是空的；二是跳转层级过深，深层页面很难被走到。
4. 稳定：按更新节奏回访
覆盖稳定后，抓取量会从高峰回落并趋于平稳，随后跟着更新频率小幅波动。这时如果内容更新变慢，抓取频次下降属于正常现象，不必为了维持数字去“喂”大量没有实际价值的页面。
爬坡期值得看的几个日志指标
- 该目录每天被访问的独立 URL 数，而不只是请求总数；
- 抓取深度分布：从首页到详情页需要几跳；
- 状态码分布：200、304、404、5xx 各占多少；
- 被反复抓取却长期不更新的页面，是否需要收敛。
常见的卡点
- 入口太深：新目录挂在三级导航之后，蜘蛛要先绕过大量无关页面才能走到它。
- Sitemap 没跟上：清单里缺少新 URL，或者 lastmod 长期不动，等于告诉蜘蛛这里没变化。
- 渲染依赖：关键链接由脚本生成，抓取阶段读到的页面结构不完整。
- 重复地址：同一内容存在多种 URL 形态，抓取量看着在涨，实际覆盖并没有增加。
- 服务器抖动：5xx 或超时增多时，抓取节奏会明显放慢，恢复也需要时间。
可以做的几件小事
- 栏目上线当天，就从首页或上级栏目加一条稳定内链，位置尽量靠前。
- 同步更新 Sitemap，只收录规范的可索引地址。
- 列表页保证服务端能直接输出链接，至少第一页与分页导航要做到。
- 连续观察两到四周日志，用独立 URL 数判断覆盖是否在增长，而不是只看请求量。
抓取爬坡本质上是蜘蛛对站点的一次评估：入口是否清晰、响应是否稳定、内容是否持续更新，都会影响它愿意投入多少抓取量。结构上的事做顺了，剩下的交给时间。