做蜘蛛池的人几乎都問過同一個問题：入口頁到底要铺多少？有人一把铺几萬頁然後放在那里不管，也有人铺几百頁看不到變化就收手。這两種做法的問题其實一样——把“數量”当成了唯一變量。真正决定结果的，是有效入口頁的數量、它們能撑多久，以及你维護得過来多少。
為什么没有一個标准數字
入口頁規模至少受四個因素影响，任何一個變了，答案都會跟着變：
- 目标頁規模：要带動的 URL 是几百條還是几十萬條，需要的入口頁完全不是一回事。
- 可用域名與服務器资源：每個域名能承载多少入口頁，带宽和並發能撑到什么程度。
- 抓取预算：蜘蛛愿意在你的這些域名上花多少時間，這是外部條件，不受你控制。
- 维護人力：入口頁會失效，需要有人定期检查、替換和清理。
所以別人给出的“铺五千頁就够”這類數字，离開他的域名條件、目标頁類型和维護方式，對你几乎没有參考價值。
先算清楚三個數
1. 目标頁數量
把真正希望被發現的 URL 列出来，去掉重复和參數變体。這個數字决定了入口頁需求的下限：如果目标頁總共只有两百條，铺几萬入口頁並没有實际意义。
2. 有效入口頁數量
不是導入了多少，而是目前仍然能被正常抓取的有多少。域名過期、解析變更、頁面被處理、服務器長期返回 5xx，都會让入口頁從“有效”變成“挂着”。建议按周統計一次：有效數 ≈ 總導入數 × 存活率。如果存活率只有六成，铺一萬頁實际等于六千頁。
3. 每天能投入的维護時間
一個入口頁池的日常工作是：看狀態碼分布、替換失效頁、观察爬虫請求變化、處理異常域名。假设检查一千頁要半小时，那么你能维護的上限是可以算出来的。超過這個上限，池子就會慢慢腐化。
存活率比總量更值得盯
新池子上线时大家最關心總量，跑上一两個月就會發現，真正拉開差距的是存活率。同样的投入，一個存活率八成、定期清理的池子，和一個存活率四成、從不整理的池子，能提供的有效入口頁差一倍以上。與其把精力花在繼續導入，不如先把失效頁替換掉。
一個粗略的起步配比
没有通用公式，但可以给一個起步參考：入口頁與目标頁的比例，可以從 1:5 到 1:20 之間试起，具体看目标頁的层級深浅。层級深、需要多跳才能到達的頁面，往往需要更多入口頁做分發；目标頁本身已经有一定被抓取基础的，入口頁可以少一些。這個比例只是起点，不是标准，最终還是要看爬虫日誌里的變化。
用爬虫日誌判断该加還是该停
加量之前，先看這几個信号：
- 新增 URL 的發現速度，是否随入口頁增加而上升；
- 請求量的增長是否與入口頁數量同步，還是很快進入平台期；
- 狀態碼分布里 200 的比例是否稳定，有没有大量 404、5xx 或超时；
- 蜘蛛是否只反复抓入口頁，而很少繼續往目标頁走。
如果入口頁翻倍、爬虫請求量却没變化，繼續加量大概率只是在增加维護负担。這时候更值得做的是改善已有入口頁的层級设計和連結路径，而不是繼續铺量。
扩張节奏：小批量驗證再放大
- 先上一小批，比如一百到三百頁，观察一到两周的抓取情况。
- 確認狀態碼正常、蜘蛛确實進来了，再按批次放大，每次不超過上一批的两倍。
- 每批做好记錄：導入時間、所在域名、頁面模板、對應目标頁，方便後面排查。
- 定期淘汰：连續多周没有被抓取、或响應長期異常的入口頁，直接下线，不要留着充數。
几個常见誤区
- 一次性铺完再不管：數字看着漂亮，几周後有效數掉一半，等于白做。
- 只比數量不看接入质量：模板粗糙、内容空白的入口頁，抓取價值本来就低，铺再多也是低效消耗。
- 忽略真實成本：域名續費、服務器、维護時間都是實打實的支出，要提前算進去。
- 把入口頁当成收錄保證：入口頁影响的是 URL 被發現的概率和路径，抓取之後是否索引、是否展現，仍要看目标頁本身是否值得。
入口頁規模不是越大越好，而是“目前维護得住的有效數量”越大越好。先守住存活率，再谈扩張。