先分清：抓取變慢不等于站点被惩罚
站点從几百個 URL 涨到几萬個，最直观的變化往往是：以前新頁面两三天就能在日誌里看到抓取记錄，現在一周都没有；同时老頁面的重新抓取也變慢。這通常不是“被降權”，而是蜘蛛在同一個站点上投入的抓取次數，被更多的 URL 分走了。
搜尋引擎並没有公布固定的抓取配額，但抓取本身是有限资源：蜘蛛要按站点分配時間，站点越大、越慢、平均價值越低，單個 URL 能分到的抓取就越少。理解這一点，才谈得上做取舍。
抓取被摊薄时，先看這几個信号
- 日誌中蜘蛛的日抓取量没有明顯下降，但新 URL 的占比很低。
- 抓取集中在少數栏目頁和几個“老面孔”詳情頁。
- 大量 URL 返回 200，但内容高度相似或几乎為空。
- sitemap 里一次提交了几萬個 URL，日誌中對應的抓取却寥寥無几。
- 服務器响應時間波動大，蜘蛛抓取集中在訪問低谷时段。
自查顺序：從能拿到資料的開始
- 看日誌。統計最近 7 天與 30 天的抓取總量、狀態碼分布、被訪問 URL 的類型分布。重点不是“抓了多少”，而是“抓的是哪些”。
- 看新增 URL 的构成。把新上线的 URL 按模板归類，統計每類有多少條。如果某一類模板产出几千條内容差异极小的頁面，它就是抓取资源的主要消耗方。
- 看内鏈。新頁面是否有稳定入口？如果只靠 sitemap 被發現，蜘蛛很难判断這些頁面的優先級。
- 看响應。單頁响應超過一秒，或者列表頁需要渲染大量内容，都會让單次抓取的性價比下降。
- 看 sitemap 與提交量。sitemap 應该只放你希望被收錄、且质量過關的 URL。把“能發現”和“值得收錄”混在一份文件里，會稀释信号。
取舍：哪些 URL 值得占用抓取
在抓取资源有限的前提下，取舍比優化更重要。可以按下面的顺序决定優先級。
- 優先：栏目頁、核心詳情頁、有獨立搜尋需求的内容頁。
- 其次：有外部連結或站内高频点击的頁面。
- 慎重：自動生成的列表頁、篩選组合頁、内容几乎一致的變体頁。
- 放弃：空结果頁、測試頁、僅參數不同的同一内容。
對于确實要保留但不希望被收錄的頁面，可以用 noindex 表達意图；如果頁面完全不需要被抓取，再考虑用 robots 屏蔽。注意被 robots 屏蔽後 noindex 無法生效，两種手段不能随意叠加。
分批上线比一次推平更容易被消化
同样的内容量，一次全部放出和分几批放出，蜘蛛的消化节奏並不相同。分批上线的好處是：每一批都能获得相對集中的抓取，你能在前一批的日誌里看到反馈，再决定下一批的量和優先級。
如果已经一次性上线，也可以回头做减量：把低價值 URL 先從内鏈和 sitemap 中撤下，把内鏈重新指向少數核心頁面。
观察窗口怎么定
抓取和收錄的變化通常以周為單位体現。建议以 7 天為一個小窗口，對比抓取總量、新 URL 抓取占比、索引中出現的新頁面數。连續两到三個窗口都没有改善，再考虑進一步收缩上线范围。
抓取预算不是可以“買”来的額度，它更像是一種分配结果：站点越大、越慢、平均價值越低，單個 URL 分到的抓取越少。把资源集中到少數值得的頁面上，往往比繼續加量更有效。
最後提醒一句：以上做法只能提高被抓取和被索引的概率，不能保證一定收錄，也無法承诺排名。