不少站点在扩栏目、批量上内容之後，會看到日誌里一個熟悉的變化：新目錄的抓取次數上来了，老頁面的抓取次數却掉了一截。第一反應往往是“是不是被降權了”，但多數情况下，這只是蜘蛛把有限的時間換了個地方花。

抓取次數是分配结果，不是單獨可谈的指标

搜尋蜘蛛對同一個主机不會無限加量。它會參考站点的整体响應速度、歷史抓取成功率、頁面更新频率等因素，给這個主机一個相對稳定的抓取节奏。在這個节奏里，先抓谁、後抓谁，取决于站点把哪些 URL 摆在了蜘蛛容易走到的地方。

所以当你在短時間内新增大量 URL，等于在同一個池子里又多放了一批取水的人。老頁面本身没有變差，只是排在它們前面的地址變多了。

站内哪些部分最占抓取

列表頁、归档頁與分頁

這類頁面數量多、生成容易，内容重复度也高。一個分類下的第 2 頁到第 20 頁，如果是按時間倒序排列，第 3 頁和後面的詳情頁之間信息差异其實很小，但每個地址都要占一次抓取。

參數與篩選入口

排序方式、價格区間、标簽组合，會成倍放大 URL 數量。蜘蛛不判断“這两個頁面看起来一样”，它只看到一個又一個没抓過的地址。

多語言與多终端版本

同一份内容分成多個地址，如果彼此之間的對應關系没有交代清楚，抓取资源就很容易被切碎，每個版本都只能分到一部分。

新栏目上线时的位移是怎么發生的

新栏目一般會拿到首頁、導航或面包屑的入口，這些位置本来就容易被蜘蛛優先走到。蜘蛛顺着走進去，把新地址排進队列，原本分给老列表頁的時間自然被挤掉一部分。這個過程本身通常不需要干预，真正需要關注的是：被挤掉的，是不是你本来就不太希望它抓的頁面。

如果被挤掉的是老栏目里真正有内容的詳情頁，那就說明站内的入口分布有問题——蜘蛛在老栏目里走的路径，可能一直停留在列表层，没有繼續深入。

把抓取往有價值的方向拨一拨

• 控制 URL 库存：不必要的归档、翻得過深的分頁、纯排序參數，尽量不要生成，或者不要让它們成為可抓地址。
• 入口集中：把内鏈更多指向要抓的詳情頁，而不是层层嵌套的列表和聚合頁。
• Sitemap 只放要抓的：把全部地址塞進 Sitemap 並不會換来等比例的抓取，反而容易让清單里混進大量低價值頁面。
• 分批上线：几萬條新地址一次性放出，和分成几周逐步放出，蜘蛛那邊的消化节奏並不一样。
• 保證响應稳定：抓取中途超时或返回 5xx，會直接影响後續的抓取安排，這一條比前面几條更基础。

怎么確認是不是分配問题

把服務器日誌按目錄或栏目分组，統計一段時間内的抓取次數、狀態碼分布以及被抓頁面的類型。如果新分区涨、老分区降，但老頁面的狀態碼和响應時間都没有變化，那基本就是分配上的位移。反過来，如果老頁面開始出現大量超时或 5xx，就得先查服務器和程序，而不是盯着抓取次數看。

抓取次數是被分配出来的结果，不是一個可以直接去谈的指标。想让某個頁面多被抓几次，通常要從它有多少入口、站点整体响應如何這些前置條件入手。

把站内的 URL 库存理清楚，让入口指向真正值得抓的頁面，比反复提交新地址更實际。