很多人做蜘蛛池，注意力都放在“入口頁有没有被爬”，但真正影响效果的是另一件事：站点整体可用的抓取配額被谁用掉了。搜尋引擎给每個站点分配的抓取量不是無限的，入口頁如果吃掉太多，目标 URL 的發現和抓取自然會往後排。
抓取配額不是按頁面平均分配的
搜尋引擎會综合站点規模、更新频率、响應速度、歷史抓取质量等因素，估算一個站每天大概能承受多少請求。這個額度優先给“看起来更值得抓”的 URL。入口頁如果把大量連結堆在一起，本身内容又很薄，就容易被归到低價值一類，抓取时反而更吝啬。
入口頁會在哪些环节消耗配額
- 入口頁自身的重复抓取：内容長期不變，但每天被抓很多次。
- 無效連結的尝试：目标 URL 返回 404、410 或超时，白跑一趟。
- 重定向鏈：一次抓取被拆成多次請求。
- 同一 URL 的參數變体：带不同跟踪參數被当成多個地址。
- 响應過慢導致的超时與重试。
什么情况下會明顯挤占目标 URL 的發現
如果入口頁數量遠大于目标 URL 數量，而且入口頁之間互相連結、层层套娃，搜尋蜘蛛很容易在入口层打轉。典型信号是：入口頁的抓取次數持續上涨，目标 URL 的首次抓取時間却不断推後，甚至一直停在“已發現、未抓取”的狀態。
用日誌把“被挤占”看出来
這里说的是服務器訪問日誌，而不是後台的抓取統計图表，日誌能看到更细的颗粒度。可以按下面几項統計：
- 入口頁 URL 的抓取次數占比，是否超過總抓取量的一半。
- 目标 URL 從首次被引用到首次被抓的間隔天數。
- 抓取是否集中在入口层，很少下探到目标层。
- 非 200 狀態碼的比例，尤其是 5xx 和超时。
- 抓取時間分布：是否總在固定时段被掃一遍就結束。
可以調整的几件事
- 减少入口頁總數量，把連結集中到少數几個頁面，而不是每個頁面塞几條。
- 让入口頁保持相對稳定，避免每次抓取都生成全新 URL。
- 确保目标 URL 至少有一次快速、正常的 200 响應，不要用一连串跳轉兜圈。
- 统一 URL 寫法，去掉不必要的跟踪參數和锚点變体。
- 用站点地图做补充提交，把重要目标 URL 單獨列出来。
- 观察一段時間再改，频繁調整會让抓取节奏更不稳定。
配額被挤占通常不是一天形成的，也不會因為一次調整立刻恢复。判断标准應该是“目标 URL 的首次抓取間隔有没有缩短”，而不是入口頁的抓取量有没有變少。
补充一点：如果站点本身規模很小，抓取配額本来就有限，入口頁的數量就更要克制。先把少量入口頁跑通，再考虑扩展，比一開始铺一大堆頁面更容易看清楚問题卡在哪一步。