不少站点在扩栏目、批量上内容之后，会看到日志里一个熟悉的变化：新目录的抓取次数上来了，老页面的抓取次数却掉了一截。第一反应往往是“是不是被降权了”，但多数情况下，这只是蜘蛛把有限的时间换了个地方花。

抓取次数是分配结果，不是单独可谈的指标

搜索蜘蛛对同一个主机不会无限加量。它会参考站点的整体响应速度、历史抓取成功率、页面更新频率等因素，给这个主机一个相对稳定的抓取节奏。在这个节奏里，先抓谁、后抓谁，取决于站点把哪些 URL 摆在了蜘蛛容易走到的地方。

所以当你在短时间内新增大量 URL，等于在同一个池子里又多放了一批取水的人。老页面本身没有变差，只是排在它们前面的地址变多了。

站内哪些部分最占抓取

列表页、归档页与分页

这类页面数量多、生成容易，内容重复度也高。一个分类下的第 2 页到第 20 页，如果是按时间倒序排列，第 3 页和后面的详情页之间信息差异其实很小，但每个地址都要占一次抓取。

参数与筛选入口

排序方式、价格区间、标签组合，会成倍放大 URL 数量。蜘蛛不判断“这两个页面看起来一样”，它只看到一个又一个没抓过的地址。

多语言与多终端版本

同一份内容分成多个地址，如果彼此之间的对应关系没有交代清楚，抓取资源就很容易被切碎，每个版本都只能分到一部分。

新栏目上线时的位移是怎么发生的

新栏目一般会拿到首页、导航或面包屑的入口，这些位置本来就容易被蜘蛛优先走到。蜘蛛顺着走进去，把新地址排进队列，原本分给老列表页的时间自然被挤掉一部分。这个过程本身通常不需要干预，真正需要关注的是：被挤掉的，是不是你本来就不太希望它抓的页面。

如果被挤掉的是老栏目里真正有内容的详情页，那就说明站内的入口分布有问题——蜘蛛在老栏目里走的路径，可能一直停留在列表层，没有继续深入。

把抓取往有价值的方向拨一拨

• 控制 URL 库存：不必要的归档、翻得过深的分页、纯排序参数，尽量不要生成，或者不要让它们成为可抓地址。
• 入口集中：把内链更多指向要抓的详情页，而不是层层嵌套的列表和聚合页。
• Sitemap 只放要抓的：把全部地址塞进 Sitemap 并不会换来等比例的抓取，反而容易让清单里混进大量低价值页面。
• 分批上线：几万条新地址一次性放出，和分成几周逐步放出，蜘蛛那边的消化节奏并不一样。
• 保证响应稳定：抓取中途超时或返回 5xx，会直接影响后续的抓取安排，这一条比前面几条更基础。

怎么确认是不是分配问题

把服务器日志按目录或栏目分组，统计一段时间内的抓取次数、状态码分布以及被抓页面的类型。如果新分区涨、老分区降，但老页面的状态码和响应时间都没有变化，那基本就是分配上的位移。反过来，如果老页面开始出现大量超时或 5xx，就得先查服务器和程序，而不是盯着抓取次数看。

抓取次数是被分配出来的结果，不是一个可以直接去谈的指标。想让某个页面多被抓几次，通常要从它有多少入口、站点整体响应如何这些前置条件入手。

把站内的 URL 库存理清楚，让入口指向真正值得抓的页面，比反复提交新地址更实际。