頁面長期不進索引，很多人第一件事是去看“是不是蜘蛛来得太少”。這個方向没错，但接下来往往會跳到加外鏈、加大提交量、甚至去折腾各種提频手段，反而忽略了抓取频次本身是被分配的——它更像是结果，而不是可以直接拧的旋钮。
搜尋引擎對每個主机的抓取量有一個大致上限，這個上限和站点体量、内容更新节奏、响應稳定性、歷史抓取成功率都有關系。所以当抓取量上不去时，更有效的做法是回头核對：哪些因素正在把配額吃掉，或者正在让調度方主動降速。
先核對响應時間與狀態碼分布
這一层最容易被跳過，因為它看起来“跟 SEO 無關”。但從抓取調度的角度，一個持續返回慢响應或错誤的主机，是不值得投入更多抓取名額的。可以按下面几項從日誌里統計：
- 平均响應時間與慢請求占比：不只看平均值，重点看尾部——有多少請求超過了 1 秒、2 秒。
- 5xx 與超时占比：偶發可忽略，持續出現就要先解决。
- 429、503 的出現频率：如果站点主動限流，蜘蛛會把“暂缓抓取”当成長期信号。
- 超时集中在哪類頁面：是站内搜尋、篩選组合頁，還是正文頁，结论完全不同。
如果發現是某几個動態接口在拖慢整站响應，那么先修接口，比再多的蜘蛛入口都更直接。
再看抓取量是不是被低價值 URL 消耗了
抓取配額是全站共享的。如果蜘蛛每次来，大部分請求都落在參數组合頁、分頁深翻、站内搜尋结果、重复的列表頁上，那么真正需要更新的正文頁自然轮不到几次。
核對方式很简單：把一段時間的日誌按 URL 類型归類，看各類占比。常见情况是正文頁只占很小一部分，剩下的都给了可無限生成的頁面。這时候要做的是收口——用 robots.txt 規則、參數規范、canonical 或直接不再輸出連結，把入口收窄，而不是繼續往站点地图里塞更多 URL。
一個容易被忽略的细节：被抓取不等于會被索引
抓取频次决定蜘蛛“来多少次”，索引决定内容“留不留”。這两件事常常被混在一起讨论。有时候日誌里蜘蛛来得不少，但因為頁面质量、重复度或者信号冲突，最终收錄量没涨——這时候再去提频就是南辕北辙。
第三层：抓取量與頁面量的比例是否合理
如果站点有十萬個有效 URL，而每天的抓取只有几百次，那即使响應很快，覆盖速度也會很慢。這时候需要判断的是：
- 有效 URL 是否真的都有被索引的價值；
- 站点地图和内部連結是否把重要頁面放在了更靠前的位置；
- 是否存在大量歷史遗留 URL，既没内容也没做處理，只是占着抓取名額。
把無效 URL 下线或返回正确的狀態碼，让它們不再反复被請求，本质上就是在给有效頁面腾配額。
回訪节奏變慢时，先排除這三件事
- 内容是否長期没有實质更新：一個几個月没變化的頁面，回訪間隔拉長是正常現象，不需要干预。
- 頁面是否在多次抓取後表現不佳：比如结构混乱、正文稀疏、和已有頁面高度重复，回訪優先級會被降低。
- 站点是否出現過較長時間的不可訪問：连續的错誤响應之後，抓取調度會明顯保守一段時間，恢复需要過程。
抓取频次偏低时，先問“我给蜘蛛看的東西值不值得再来看一次”，再問“怎么让蜘蛛来得更多”。顺序反了，投入往往打不到点上。
按這個顺序排查會更省時間
從主机层開始，再往頁面层走：响應時間與错誤率 → 抓取命中的 URL 類型分布 → 有效頁面與無效頁面的比例 → 重点頁面的内容质量與唯一性。每一层都確認過之後，如果抓取量确實與站点体量不匹配，再考虑通過内鏈结构、站点地图優先級、更新节奏去提升發現的稳定性。
這样做的意义在于：你能分清問题出在“蜘蛛不愿意来”，還是“来了但没什么值得抓的”，或者“抓了但留不下”。這三種情况的處理方式完全不同。