页面长期不进索引，很多人第一件事是去看“是不是蜘蛛来得太少”。这个方向没错，但接下来往往会跳到加外链、加大提交量、甚至去折腾各种提频手段，反而忽略了抓取频次本身是被分配的——它更像是结果，而不是可以直接拧的旋钮。

搜索引擎对每个主机的抓取量有一个大致上限，这个上限和站点体量、内容更新节奏、响应稳定性、历史抓取成功率都有关系。所以当抓取量上不去时，更有效的做法是回头核对：哪些因素正在把配额吃掉，或者正在让调度方主动降速。

先核对响应时间与状态码分布

这一层最容易被跳过，因为它看起来“跟 SEO 无关”。但从抓取调度的角度，一个持续返回慢响应或错误的主机，是不值得投入更多抓取名额的。可以按下面几项从日志里统计：

• 平均响应时间与慢请求占比：不只看平均值，重点看尾部——有多少请求超过了 1 秒、2 秒。
• 5xx 与超时占比：偶发可忽略，持续出现就要先解决。
• 429、503 的出现频率：如果站点主动限流，蜘蛛会把“暂缓抓取”当成长期信号。
• 超时集中在哪类页面：是站内搜索、筛选组合页，还是正文页，结论完全不同。

如果发现是某几个动态接口在拖慢整站响应，那么先修接口，比再多的蜘蛛入口都更直接。

再看抓取量是不是被低价值 URL 消耗了

抓取配额是全站共享的。如果蜘蛛每次来，大部分请求都落在参数组合页、分页深翻、站内搜索结果、重复的列表页上，那么真正需要更新的正文页自然轮不到几次。

核对方式很简单：把一段时间的日志按 URL 类型归类，看各类占比。常见情况是正文页只占很小一部分，剩下的都给了可无限生成的页面。这时候要做的是收口——用 robots.txt 规则、参数规范、canonical 或直接不再输出链接，把入口收窄，而不是继续往站点地图里塞更多 URL。

一个容易被忽略的细节：被抓取不等于会被索引

抓取频次决定蜘蛛“来多少次”，索引决定内容“留不留”。这两件事常常被混在一起讨论。有时候日志里蜘蛛来得不少，但因为页面质量、重复度或者信号冲突，最终收录量没涨——这时候再去提频就是南辕北辙。

第三层：抓取量与页面量的比例是否合理

如果站点有十万个有效 URL，而每天的抓取只有几百次，那即使响应很快，覆盖速度也会很慢。这时候需要判断的是：

• 有效 URL 是否真的都有被索引的价值；
• 站点地图和内部链接是否把重要页面放在了更靠前的位置；
• 是否存在大量历史遗留 URL，既没内容也没做处理，只是占着抓取名额。

把无效 URL 下线或返回正确的状态码，让它们不再反复被请求，本质上就是在给有效页面腾配额。

回访节奏变慢时，先排除这三件事

1. 内容是否长期没有实质更新：一个几个月没变化的页面，回访间隔拉长是正常现象，不需要干预。
2. 页面是否在多次抓取后表现不佳：比如结构混乱、正文稀疏、和已有页面高度重复，回访优先级会被降低。
3. 站点是否出现过较长时间的不可访问：连续的错误响应之后，抓取调度会明显保守一段时间，恢复需要过程。

抓取频次偏低时，先问“我给蜘蛛看的东西值不值得再来看一次”，再问“怎么让蜘蛛来得更多”。顺序反了，投入往往打不到点上。

按这个顺序排查会更省时间

从主机层开始，再往页面层走：响应时间与错误率 → 抓取命中的 URL 类型分布 → 有效页面与无效页面的比例 → 重点页面的内容质量与唯一性。每一层都确认过之后，如果抓取量确实与站点体量不匹配，再考虑通过内链结构、站点地图优先级、更新节奏去提升发现的稳定性。

这样做的意义在于：你能分清问题出在“蜘蛛不愿意来”，还是“来了但没什么值得抓的”，或者“抓了但留不下”。这三种情况的处理方式完全不同。