抓取次數不是想抓多少就有多少
搜尋引擎的抓取资源是共享的，同一個站点能分到的抓取频次，通常受几件事影响：站点整体响應速度、頁面更新频率、歷史抓取质量（返回碼是否稳定）、頁面數量與结构复杂度。頁面從一個變成一萬個，抓取频次並不會按同样倍數增長。于是就會出現一種常见情况：首頁、栏目頁每天被訪問好几轮，而深层商品頁或文章頁長期停在“已發現，尚未抓取”。
把這件事理解成“每天有一筆固定的抓取预算”會好操作一些。预算有限，谁被優先抓，取决于連結權重、更新信号和地址是否干净。
配額常被這几類地址占走
- 參數與篩選组合。颜色、尺寸、排序、價格区間、翻頁參數互相组合，能生成成百上千個地址，内容却高度相似。蜘蛛很容易在這些地址之間绕圈。
- 低價值列表頁。标簽頁、归档頁、站内搜尋结果頁、日歷頁，數量往往遠超真正的内容頁。它們本身有内鏈，容易被反复抓取。
- 已经失效但仍在被請求的地址。舊連結、測試目錄、已刪除的产品頁。如果没有返回明确的 404 或 410，蜘蛛可能反复回来確認。
- 同一内容的多個地址。大小寫、结尾斜杠、带 www 與不带、跟踪參數，都會让同一頁被当成多個頁面，重复消耗抓取。
- 外部资源與跳轉。頁面里挂载過多第三方脚本、图片和跳轉連結，也會让抓取在非核心资源上停留。
怎么確認是配額被摊薄，而不是頁面本身有問题
- 拉一段服務器日誌，按蜘蛛訪問的 URL 分组，看訪問量集中在哪些目錄。如果大部分請求都落在參數頁和列表頁，深层内容頁一天只被碰一次，配額分配就是主因。
- 看重要頁面的抓取間隔。正常更新的内容頁，抓取間隔應逐步缩短；如果几周都没變化，說明它排在队尾。
- 對比返回碼分布。大量 404、301 鏈、5xx 會拖慢整体抓取效率，也可能让蜘蛛降低来訪频率。
- 检查重复地址比例。同一主版本被多個地址指向时，先把 URL 收口，再谈配額。
腾出配額可以按這個顺序調整
- 先收口重复地址。统一大小寫、结尾斜杠和域名版本，让同一内容只保留一個地址。
- 限制參數组合被抓。對篩選、排序類參數做统一處理，只保留必要的入口，其余不主動暴露連結。
- 把该消失的地址明确标出来。彻底刪除的頁面返回 410，临时下架的頁面返回 404 或保留並說明，避免長期挂在那里反复被請求。
- 精简站点地图。sitemap 只放希望被索引的内容頁，不要把标簽、篩選、分頁全部塞進去。
- 收紧列表頁的抓取入口。标簽頁和归档頁可以留给用戶浏览，但不一定都要放進主導航和内鏈。
- 让重要頁面有更新信号。内容确實更新时同步調整 lastmod 或頁面上的時間标识，比反复提交更有效。
配額只是解释之一
抓取频次低，也可能因為頁面本身價值不高、内鏈太浅，或者服務器响應太慢。調整配額能减少浪費，但不等于把頁面“推進”索引。真正决定能否被收錄的，還是這個頁面是否值得占用一個索引位置。
观察顺序建议：先看日誌里谁在消耗抓取，再看重复地址是否收干净，最後才考虑内容层面的取舍。