搭蜘蛛池之前，多數人先問的是入口頁怎么寫，很少有人先問這個池子能带多少目标頁。结果往往是铺了几百個入口頁，目标 URL 却有几千個，最後每個 URL 分到的抓取次數少得可怜，看上去池子在跑，實际什么也没推動。
容量不是一個精确數字，但可以估算。先把它拆成几個變量。
决定容量的四個變量
- 有效入口頁數量：能被爬虫正常訪問、且确實被訪問過的頁面，不是後台生成的總數。
- 每個入口頁的外鏈數：一頁放 3 條和放 30 條，單頁能分出去的抓取机會完全不同。
- 單頁被抓取的频次：一天来一次和一周来一次，量級差好几倍。
- 目标頁數量：要喂的 URL 總數，以及每個 URL 需要被重复抓到几次。
這四個變量里，最容易高估的是第一個。生成一萬個入口頁很容易，被爬虫真正抓過一遍的可能只有几百個。估算容量的第一步，是把生成量換成實际抓取量。
两種估算思路
從入口頁往下倒推
假设你有 500 個有效入口頁，每頁稳定放 5 條目标連結，爬虫平均两天完整抓一轮。那么一天内能被触達的目标連結大约是 500×5÷2=1250 次。如果單個目标 URL 你希望一周至少被抓到 2 次，那么一周可承载的目标頁數量大概是 1250×7÷2≈4300 個。這是理论上限，實际打七折更稳妥。
從訪問日誌往上反推
如果池子已经在跑，直接看日誌更准。取最近 7 天，統計三個數字：每天訪問入口頁的爬虫請求數、其中来自主流搜尋蜘蛛的比例、以及這些請求落在了多少個不同 URL 上。用去重後的被抓入口頁數乘以每頁外鏈數，再除以目标頁數，就能看出每個目标頁平均一轮能分到几次抓取。低于每周一次，基本可以判断容量不够。
常见的容量错配
- 池子太小、目标太多：每個 URL 長期分不到抓取，铺了等于没铺。
- 池子太大、目标太少：入口頁互相之間没事干，服務器和域名成本白花。
- 入口頁大量死鏈：連結指向 404 或超时，抓取预算被消耗在错誤頁面上。
- 只算入口頁不算出口：目标頁本身打開慢、加载超时，爬虫来了一次不再来。
- 所有目标頁挂在同一批入口頁上：這批頁一旦被降權，整体一起掉。
扩容的顺序建议
- 先確認現有入口頁是否真的被抓，別急着加新頁。
- 在抓取量稳定的入口頁上增加外鏈位，而不是無脑複製新頁。
- 新頁上线後，從老頁给它一两條連結，帮它進入抓取队列。
- 观察两到三周，看新增入口頁有没有带来等比例的抓取增長。
- 增長停滞时，再考虑增加域名或 IP 资源，而不是繼續灌頁面。
扩容最怕的是线性思维：以為入口頁翻倍、抓取就翻倍。實际中，服務器响應、域名信誉、内容重复度都會让邊际收益递减，第二千個入口頁的價值遠低于第一個。
容量估算不是 KPI
容量只能告诉你這個池子大概能覆盖多少 URL，不能告诉你這些 URL 會不會被收錄、會不會有排名。抓取只是第一步，中間的索引、排序、竞争，每一項都不在池子的控制范围内。
所以更實际的用法是：把容量当成一個排查工具。当目标頁長期没有動静时，先算一遍單頁分到的抓取次數，如果數字明顯偏低，問题多半出在池子規模與目标數量的比例上，而不是頁面内容本身。