抓取配额不是一个固定数字
搜索引擎对单个站点的抓取量没有对外公布的固定额度。每天来多少只蜘蛛、抓多少个 URL，取决于站点规模、服务器响应速度、内容更新频率、历史抓取质量等因素的综合结果。同一套站点结构，换一台更快的服务器，或者把一批低价值 URL 收敛掉，实际抓取量就可能出现明显变化。
因此，当发现“收录变慢”“新页面迟迟没动静”时，比起猜测配额数字，更实际的做法是看蜘蛛把有限的抓取量花在了哪些 URL 上，以及那些真正重要的页面是否排在队伍前面。
搜索蜘蛛按什么顺序挑 URL
抓取调度没有公开的公式，但从日志和实际表现看，下面几类信号通常会被参考。
内链权重与 URL 层级
首页、主导航、栏目列表页上的链接，被跟随的概率明显高于藏在深处的链接。一个页面离首页的点击距离越短、获得的站内链接越多，被发现和再次抓取的机会通常越大。反过来，只能靠 Sitemap 或站外链接进入的页面，抓取频率往往偏低。
更新信号
Sitemap 中的 lastmod、页面正文的近期改动、评论或列表页的新增内容，都会被当作“这个 URL 值不值得再看一次”的参考。需要注意的是，lastmod 如果每次生成都写成当前时间，实际可信度会下降，权重也就被稀释了。
服务器响应速度
响应慢直接拖长单次抓取占用的时间。同样的抓取窗口内，一个平均响应 200ms 的站点，能承接的请求数远多于平均响应 2s 的站点。这也是为什么服务器稳定性问题经常表现为“URL 发现变慢”，而不只是“打不开”。
历史抓取结果
如果某个目录下大量 URL 返回 404、软 404，或者内容高度重复、正文为空，这类 URL 的抓取价值评估会被下调。长期看，同一批 URL 被回访的频率会降低，连带影响同目录下新页面的发现速度。
常见的优先级误判
- 把所有 URL 都塞进 Sitemap。当 Sitemap 里混着大量参数页、已下线页和低价值聚合页时，等于没有优先级，重要页面不会因此获得更多额度。
- 核心页面路径过深。把主要内容放在首页点击四五次之后的位置，只靠 Sitemap 兜底，发现速度往往不如预期。
- 让筛选参数页自由扩散。组合参数能生成的数量很容易超过正文页，这些 URL 会持续消耗抓取量。
- 忽略内链的锚文本与位置。正文中部的链接，通常比页脚版权区的一串链接更被重视。
调整顺序：可以按这个次序排查
- 先看服务器日志里的响应时间分布，确认不是服务器拖慢了整体抓取节奏。
- 再统计被抓取 URL 的类型分布：正文页、列表页、参数页、已下线页各占多少。
- 核对 Sitemap 中 lastmod 的真实性，把没有实际改动的 URL 的更新标记清理掉。
- 检查重要页面的内链入口数量和位置，把关键内容提到更浅的层级。
- 处理无价值 URL：已下线页返回正确的 404 或 410，参数页做收敛或加 noindex，避免继续被反复抓取。
- 观察一两周日志，对比抓取 URL 结构是否发生变化，再决定下一步动作。
别把抓取量当成唯一变量
抓取量提升不等于收录和排名会同步提升。它解决的是“有没有机会被抓到”的问题，页面本身的质量、与查询的相关性仍然由别的环节决定。把抓取路径理顺，本质上是让重要的 URL 不被无关 URL 挤在后面，而不是去追求一个更大的数字。
检查抓取配额的第一步，不是问蜘蛛能抓多少，而是问它正在抓的这批 URL 里，有多少是你真正希望被发现的。