入口頁從几十個扩到几千個，很多人的第一反應是“連結變多了，搜尋蜘蛛應该来得更勤”。實际情况通常不是线性增長。抓取预算是搜尋引擎在單個站点或主机层面愿意投入的抓取资源上限，入口頁只是被發現的對象，不是决定预算的開關。把這两件事混在一起，很容易在做完扩容後發現日誌里的抓取量没什么變化，却找不到原因。
抓取预算大致由什么约束
预算主要受两方面影响：一是站点本身的健康度，包括响應速度、错誤率、内容更新频率以及搜尋引擎對该站重要性的判断；二是搜尋引擎自身的资源調度策略。入口頁數量增加，只是把候選 URL 池變大。如果所在主机响應慢、返回 5xx 的比例高，抓取會大量消耗在失敗重试上，最终落到目标 URL 上的次數可能反而更少。
換句话说，预算更像是“上限”，而不是“配額發放”。站点表現越好，搜尋引擎越愿意在同样的時間窗口里多抓几次；表現變差，上限會自動收紧，跟入口頁放了多少連結關系不大。
入口頁變多时，先卡住的通常不是“發現”
- 入口頁所在主机响應變慢，抓取队列滞塞，新 URL 只能排在队尾
- 大量入口頁内容高度相似，容易被合並處理，只有一部分真正進入抓取队列
- 同一批目标 URL 被反复寫在多個入口頁里，去重後没有带来新增量
- 入口頁自身返回 4xx、5xx 或超时，白白占用抓取份額
- 目标 URL 在 robots.txt 或服務器层被挡住，蜘蛛到了门口也進不去
這几項里，前三項属于结构問题，後两項属于配置問题。结构問题需要减少冗余，配置問题需要逐條核對，通常比繼續加頁面更有效。
扩容前後可以重点观察的指标
- 日誌中入口頁的抓取频次與狀態碼分布，看 5xx 與超时比例有没有上升
- 目标域名下被實际抓取的 URL 數量，而不是入口頁的數量
- 從首次發現到首次抓取之間的間隔是否被拉長
- 抓取深度，是否長期停留在入口頁的第一层就不再往下走
- 同一 IP 段或同一 UA 的請求在時間上的分布是否變得更零散
這些指标不用天天看，但扩容後的一到两周值得對比一次。如果入口頁數量涨了三倍，而目标域名下的實际抓取 URL 數几乎没動，說明瓶颈不在“發現”這一步。
两個常见誤解
誤解一：入口頁越多，抓取量就一定越大
入口頁只是路标，真正消耗预算的是被跟到的目标 URL。如果目标站本身响應慢，或者存在大量带參數的重复頁面，增加入口頁並不會让有效抓取變多，只是把同一份预算摊薄到更多候選地址上。
抓取预算是“上限”，不是“按入口頁數量發放的配額”。扩入口頁不等于扩预算。
誤解二：批量加頁面不會影响現有收錄
主机资源是共享的。入口頁所在服務器如果承受不住新增压力，既有的抓取同样可能被拖慢。比較稳妥的做法是分批上线，观察日誌一到两周再决定是否繼續扩，而不是一次性铺满。
實操上的几点建议
- 入口頁保持可抓取、可解析，避免連結完全依赖 JavaScript 渲染或被交互隐藏
- 同一 URL 尽量不在同一批入口頁里重复出現，减少無效去重
- 保證入口頁返回 200 且响應時間稳定，出現異常先修再扩
- 用 sitemap 與站内連結两條路径並行，降低對單一入口的依赖
- 定期清理 404 與過長的重定向鏈，別让舊入口頁繼續占抓取份額
總结一下：入口頁數量解决的是“有多少 URL 有机會被發現”，抓取预算解决的是“搜尋引擎愿意花多少资源来抓”。两者属于不同层面。扩充入口頁时，更值得盯的是日誌中的抓取分布和狀態碼，而不是頁面總數這個數字本身。把這些看清楚，再决定要不要繼續加頁面，通常比盲目扩容更有意义。