抓取配額不是平均分给每個 URL 的
搜尋引擎愿意在一個站点上花多少抓取资源，通常由一個综合判断决定：站点有多少 URL、更新是否規律、服務器响應快不快、内容是否稳定。這個判断结果常被叫做抓取配額或抓取预算，它不是一個公開的固定數字，也不會平均分摊到每個地址上。
對蜘蛛池這種以“入口頁带出目标 URL”為主的场景来说，配額的意义更直接：搜尋蜘蛛每天能抓的次數就那么多，入口頁多抓几次，目标 URL 就少抓几次。所以真正该關心的不是“怎么让蜘蛛抓得更多”，而是怎么让有限的抓取次數花在更值得的地方。
入口頁和目标 URL 的角色不一样
入口頁承担的是“被發現”的职责：蜘蛛抓一次入口頁，解析出里面的連結，把新的目标 URL 放進待抓列表。目标 URL 承担的是“被處理”的职责：只有真正被抓取回来，才有机會進入後續流程。
两者消耗的是同一份配額，但收益不同。入口頁的價值取决于它能不能持續輸出有效連結；如果入口頁内容長期不更新、連結结构也没變化，蜘蛛重复抓取的收益會明顯下降。反過来，目标 URL 如果長期返回错誤、内容單薄或需要登入才能看到，抓回来也是浪費。
一個相對務實的分配思路
- 先保證入口頁可稳定抓取。入口頁响應慢、经常超时、频繁返回 5xx，蜘蛛的抓取节奏會整体變慢，目标 URL 的發現也會被拖住。
- 入口頁數量不要無限扩張。與其铺很多内容接近的入口頁，不如保留一批更新規律、連結有效的入口頁，让它們反复被回訪。
- 把目标 URL 的可抓取性做扎實。返回 200、内容可讀、没有登入墙，這些是基本前提；否則被發現了也抓不出结果。
- 定期收敛没有产出的入口頁。如果某個入口頁持續被抓，但對應的目标 URL 長期没有抓取记錄，就要考虑它是不是在做無用功。
几個容易踩的誤区
- “入口頁铺得越多，抓取就越多”。配額不會因為入口頁變多而线性增長，反而可能被大量低價值頁面稀释。
- “提交了就一定會抓”。主動推送、站点地图只是提示线索，最终抓不抓、什么时候抓，仍要看站点的整体抓取表現。
- “一個入口頁塞几百條連結更划算”。連結數量本身不产生抓取，蜘蛛是否顺着連結走，取决于它對頁面的信任程度和目前抓取节奏。
- “目标 URL 有 200 狀態碼就够了”。狀態碼只是入场券，空壳頁、纯跳轉頁、内容重复頁即使被抓，後續處理也容易停在原地。
怎么观察配額是否被浪費
比較實用的做法是把服務器日誌里的蜘蛛抓取记錄按 URL 類型分開統計：入口頁被抓了多少次、目标 URL 被抓了多少次、各自返回什么狀態碼、响應時間大概是多少。连續观察一两周，通常能看出趋势。
如果入口頁的抓取次數遠高于目标 URL，而且目标 URL 的抓取量長期上不去，可以從三個方向检查：入口頁是否太多太杂、目标 URL 是否存在可抓取性問题、服務器整体响應是否拖慢了节奏。
抓取配額是個慢變量。它的變化往往按周甚至按月体現，用一两天日誌下结论很容易誤判。調整之後，至少观察一個完整周期再做判断。
小结
入口頁和目标 URL 争的是同一份抓取资源。與其追求數量上的扩張，不如把入口頁做得稳定、把目标 URL 做得可抓取，再用日誌持續观察两者的抓取比例。分配是否合理，最终會体現在目标 URL 能不能被稳定處理上，而不是体現在某一天的抓取次數上。