做蜘蛛池的人常有一個直觉：入口頁铺得越多，蜘蛛来的次數就越多，目标頁被發現的概率也越大。這個直觉在早期可能有点用，但站点數量一多，問题就會暴露出来——蜘蛛确實来了，却總在入口頁打轉，目标頁的抓取次數並没有同步增長。
原因不复杂：搜尋引擎给每個站点分配的抓取资源是有限的。這個资源通常被称為抓取预算。它不是固定值，會随站点權重、更新频率、响應速度、内容质量等因素變化，但一定不是無限的。
抓取预算在站点内部怎么分
蜘蛛来到一個站点後，要在有限的時間和並發里决定先抓哪些 URL。入口頁、列表頁、目标頁、标簽頁、參數頁、歷史遗留頁，都在争夺同一份预算。如果入口頁數量庞大，且内容重复、空薄、狀態碼混乱，蜘蛛會把大量請求消耗在這些頁面上。
结果就是：日誌里入口頁的抓取记錄很热闹，目标頁却迟迟等不到蜘蛛。你以為是“蜘蛛不抓目标頁”，實际上是预算在入口层就被花掉了。
铺量過度的常见信号
- 入口頁抓取次數持續上升，目标頁抓取次數長期不變或下降。
- 新生成的目标 URL 發現周期變長，几天甚至更久才被訪問一次。
- 蜘蛛反复抓取同一批入口頁，回訪間隔却没有缩短。
- 日誌中大量 404、空頁面、重复參數頁被反复請求。
- 站点响應變慢後，蜘蛛整体抓取量反而下降。
入口頁數量不是唯一變量
入口頁的作用是通道，不是终点。蜘蛛顺着入口頁的連結走到目标頁，這個過程越短、越稳定，预算利用率越高。如果入口頁到目标頁要经過多层跳轉，或者入口頁本身需要 JS 渲染才能看到連結，蜘蛛很可能中途放弃。
蜘蛛池的入口頁不是越多越好，而是越“顺”越好。顺，指的是路径短、狀態稳、内容不重复、連結可抓取。
另一個容易被忽略的点是入口頁的质量。同一套模板批量複製，标题、正文、锚文本高度相似，蜘蛛抓過几頁之後就會降低對這個目錄的抓取兴趣。即使你繼續增加入口頁數量，新增頁面也很难获得額外的抓取配額。
怎么把预算留给目标頁
- 控制入口頁規模。先小批量測試，观察目标頁抓取比例，再决定是否扩大。不要一次性铺几萬頁入口頁。
- 缩短跳轉路径。入口頁到目标頁尽量一跳可達，减少中間层。中間层越多，预算损耗越大。
- 清理低價值頁面。長期無抓取、無内容、無連結價值的頁面，用 404 或 410 明确處理，不要让蜘蛛反复试探。
- 把重点 URL 主動告诉蜘蛛。sitemap 和推送接口可以用来标注目标頁，但不要把所有頁面都塞進去，否則等于没有重点。
- 保證响應速度。入口頁和目标頁的响應時間越短，蜘蛛在相同時間内能抓的頁面就越多。超时和错誤會直接浪費预算。
- 看日誌做調整。統計入口頁與目标頁的抓取比例。如果入口頁占比過高，就减少入口頁數量或合並重复頁面。
常见誤区
第一個誤区是把蜘蛛来訪次數当成预算充足。来訪次數多，不代表目标頁被有效抓取。第二個誤区是認為入口頁越多，目标頁收錄越快。實际上，入口頁過多可能让蜘蛛在低质頁面之間循环。第三個誤区是只看入口頁日誌，不看目标頁日誌，導致判断失真。
更稳妥的做法是：把入口頁当作發現目标頁的辅助通道，定期评估它的投入产出。入口頁带来的目标頁抓取增長如果停滞，就應该停下来检查路径、内容和狀態碼，而不是繼續加量。
抓取预算會随着站点表現動態變化。你能做的，是让蜘蛛每次来訪都能更高效地走到有價值的頁面。入口頁铺得再多，如果预算被無效消耗，目标頁依然等不到蜘蛛。