做蜘蛛池时，很容易陷入一個直觉：入口頁越多，蜘蛛来的次數就越多。于是有人一口气上几千個域名、几萬個頁面，期待抓取量线性增長。實际跑一段時間後往往會發現，蜘蛛的總抓取量並没有明顯上升，反而每個入口頁分到的訪問變少了，日誌里多了一堆只来過一次的 IP。這說明入口頁數量和抓取机會之間並不是简單的正比關系。
蜘蛛的抓取是有上限的
搜尋引擎安排抓取时，會综合考虑自身资源、站点响應速度、内容更新频率、歷史抓取反馈等因素，對單個域名甚至單個 IP 段给出一個大致稳定的抓取节奏。這個节奏不會因為你的入口頁從 10 個變成 1000 個就自動翻很多倍。在總量變化不大的情况下，頁面數量增加只意味着每個頁面被訪問的平均次數下降。
換句话说，蜘蛛池能争取到的是“份額”，不是可以随意扩容的“總量”。規模扩張到一定程度後，邊际收益會快速衰减。
扩張之前先算三筆成本
1. 單頁抓取机會被稀释
假设一個域名每天稳定被訪問 200 次，原来只有 20 個入口頁，每個頁面平均能拿到 10 次訪問；扩到 200 個頁面後，每個頁面平均只剩 1 次。對需要被反复看到才能稳定發現的頁面来说，這種稀释反而是坏事。
2. 维護成本非线性上升
- 域名續費、解析、證书、CDN 與服務器的帳單随數量增加；
- 出現解析異常、證书過期、5xx 时，排查工作量成倍增長；
- 内容更新跟不上，頁面長期不變，蜘蛛来過几次就不再来了。
3. 服務器压力與响應质量
入口頁數量增加通常伴随並發上升。如果带宽、连接數、資料库查询跟不上，入口頁的响應時間會被拖長。抓取方對慢站的容忍度有限，响應變慢會反過来压缩抓取频次，形成“頁面越多、抓得越少”的负循环。
什么样的規模算合适
没有统一數字，可以用几個可观察的信号来判断：
- 被訪問頁面占比：從日誌里統計一段時間内至少被訪問過一次的入口頁比例。如果長期低于很低的水平，說明有大量頁面根本没進入抓取队列，可以考虑精简。
- 單位抓取产出：把總抓取次數除以入口頁數量。這個值持續下降，通常意味着規模超出了目前承载能力。
- 新頁面被發現的速度：新增入口頁從上线到第一次被抓取的時間，如果明顯變長，說明队列已经拥挤。
- 目标頁的抓取情况：入口頁的意义是把蜘蛛带到目标頁。如果目标頁的抓取没有随入口頁增加而改善，扩張就没有達到目的。
扩張节奏上的几点建议
- 小步增加，每次加一批後观察一到两周再决定下一步，不要一次性翻十倍。
- 優先提升現有頁面的质量與更新节奏，再考虑加新頁面。一個能稳定被訪問的頁面，價值通常高于十個長期無人問津的頁面。
- 把资源集中在少數几個响應稳定、解析可靠的域名上，比铺開几十個半死不活的域名更有效。
- 定期清理長期無訪問、内容重复度高的入口頁，减少無效抓取占用。
- 记錄每次扩張前後的日誌資料，形成自己的经驗值，而不是照搬別人的數量。
蜘蛛池的作用是提升 URL 被發現的机會，它不改變搜尋引擎對内容本身的判断。規模只是手段之一，内容质量、站点狀態和响應稳定性依然是基础。
總结一句：入口頁數量應该跟着抓取反馈走，而不是跟着感觉走。能稳定被訪問、能持續带来新 URL 發現的規模，才是合适的規模。盲目铺量除了增加成本，很难換来對應的抓取增長。