不少站点在收錄慢的时候，會先怀疑“蜘蛛是不是没来”。但實际去看服務器日誌，往往會發現蜘蛛来得並不少，只是抓取請求大量落在了一些不值得抓的地址上。搜尋引擎愿意花在每個站点上的抓取资源是有限的，它不是一條固定配額，而更像一種按優先級分配的調度。当低價值地址持續占用請求，新頁面和重要頁面的抓取频率就會被摊薄，收錄自然顯得慢。
抓取预算不是固定數字，而是優先級
不同搜尋引擎對抓取预算的表述不同，但核心逻辑接近：在站点可承受的前提下，搜尋引擎會優先抓取它認為更可能产生索引價值的 URL。如果站点结构清晰、重要頁面入口多、低價值地址少，同样的抓取量就能覆盖更多有效頁面。反過来，如果大量請求被重定向、參數组合和死鏈吃掉，真正需要更新的頁面就會排在後面。
所以排查收錄問题，不能只看“今天来了多少次蜘蛛”，還要看這些抓取請求最终落在了哪些 URL 上。
常见的几類抓取浪費
重定向鏈與循环
頁面 A 跳 B，B 再跳 C，最後才到目标頁。每次跳轉都會消耗一次請求，而且搜尋引擎需要額外判断最终地址是否稳定。短期的改版跳轉可以理解，但如果站内長期存在多級跳轉，或者移動端與桌面端互相跳来跳去，就會让抓取在中間环节空轉。更麻烦的是循环跳轉，蜘蛛可能反复訪問却到不了终点。
參數與篩選生成的無限地址
排序、篩選、跟踪參數、會话 ID 很容易组合出大量 URL。這些地址往往内容相似，只是參數不同。如果站内連結或站点地图里放出了這些组合，蜘蛛就會顺着抓取。對用戶有價值的篩選頁可以保留，但需要用 canonical、robots.txt 或 noindex 控制，避免让搜尋引擎把抓取资源花在無穷無尽的參數變体上。
死鏈與软 404
返回 404 或 410 的地址被反复抓取，是另一種常见消耗。尤其是曾经被收錄、後来内容下架却没有做處理的頁面，蜘蛛仍可能按舊记錄回訪。软 404 更隐蔽：頁面返回 200，但内容為空、只有一句“暂無資料”或模板框架。這類頁面會被当作正常頁面抓取，却很难進入索引，等于白白消耗請求。
低價值重复頁
同一套内容因為分頁、打印版、标簽聚合、用戶中心等入口生成多個地址，也會分散抓取。如果這些頁面没有獨立價值，又没有被規范到主地址，蜘蛛就會在多個副本之間来回對比。重复内容不一定會被惩罚，但會让抓取和索引的判断變慢。
按什么顺序排查
- 先看服務器日誌。統計蜘蛛請求最多的目錄和 URL 類型，找出被高频抓取但實际無索引價值的地址。重点看重定向、參數頁、404 和空頁面。
- 再看索引覆盖率报告。對照“已發現但未编入索引”“已抓取但未编入索引”“重复網頁，Google 選擇的規范網頁與用戶指定的不同”等狀態，判断問题集中在哪一類頁面。
- 检查内鏈和站点地图。如果低價值地址能從導航、列表頁或 sitemap 轻易進入，蜘蛛就會優先抓。先把這些入口收敛，比直接屏蔽更有效。
- 處理重定向鏈。把多級跳轉改成一步到位，去掉循环和無效跳轉。改版跳轉要设定期限，不要長期保留。
- 控制參數组合。對篩選參數做規范，保留有用组合，屏蔽無限组合。不要用 robots.txt 屏蔽需要传递權重的頁面，必要时用 noindex 或 canonical。
- 清理死鏈和软 404。已下架頁面返回 410 或 404，空頁面不要返回 200。舊連結如果還有外部入口，考虑重定向到最相關的新頁面。
處理後的观察点
調整之後，不要只看收錄數字涨没涨。更實际的观察是：日誌里低價值地址的抓取比例是否下降，重要目錄的抓取频率是否上升，索引报告里“已發現但未编入索引”的數量是否减少。這些信号通常比單日收錄量更能說明抓取资源有没有被重新分配。
抓取预算的優化不是一次性的清理，而是把入口、跳轉和頁面狀態维持在可预期的范围内。站点越大，越需要定期回看哪些地址在消耗蜘蛛的請求。