做蜘蛛池时最容易走偏的一步是“數量”：入口頁越多越好、每頁連結越多越好。實际上，入口頁數量和單頁連結數都有各自的邊界，堆過头不但不會加快 URL 發現，反而可能把有限的抓取资源摊薄。下面按几個常见疑問拆開说。
先分清两個獨立變量
很多人把两件事混在一起谈：一是入口頁總數，二是每個入口頁上放多少條目标連結。這两者影响的方向不一样。入口頁數量决定的是“發現路径有多少條”，單頁連結數决定的是“一條路径一次能带出多少 URL”。調規模时應该分開测，一起改會看不清是哪一項起了作用。
入口頁太少會出現什么情况
- 發現速度慢：新目标連結只能靠少數入口頁被重新抓取时才可能被看到，等待周期拉長。
- 單頁压力集中：同一個頁面被反复抓取，頁面本身又没有變化，容易變成無效抓取。
- 單点風險高：某個入口頁出問题（返回異常、被拦截、模板改動），整條發現鏈路就断了。
所以入口頁數量偏少时，通常不是加快更新频率能解决的，而是需要增加獨立的發現路径。
入口頁太多又會怎样
- 抓取资源被摊薄：抓取總量有限，分到每個入口頁的频次下降，單個頁面上的連結被看到的時間反而變長。
- 内容高度雷同：如果入口頁只是換壳的同一套模板，大量近重复頁面本身價值不高。
- 维護成本失控：連結失效、目标頁改地址、模板調整都需要同步，越大越难查。
換句话说，入口頁數量存在一個收益递减点，超過之後邊际價值很低，甚至為负。
每頁放多少連結比較合适
没有通用數字，取决于頁面结构和連結的呈現方式。可以參考几個判断标准：
- 連結是否在預設可见区域内，還是藏在折叠、分頁、懒加载之後。
- 頁面主体内容是否還能撑起這個頁面的存在意义，而不是纯連結清單。
- 同一目标連結在站内其他入口頁重复出現的比例有多高。
- 頁面体积和加载速度是否因為連結數量明顯變差。
如果頁面只是把几百條連結堆在一屏里，實际被抓到、被跟進的比例往往很低；分成若干结构清晰的頁面，效果通常更可控。
一個相對稳妥的起步方法
- 先用一小批入口頁、每頁适量連結跑一段時間，记錄抓取日誌。
- 观察抓取频次、抓取到的 URL 數量、返回狀態分布，判断抓取是否“吃得下”。
- 只改一個變量：先加入口頁數量，看日誌變化；稳定後再調單頁連結數。
- 對表現明顯變差的批次回退，不要一路加量到底。
用資料驗證，而不是凭感觉加量
服務器日誌是最直接的依據：看抓取時間点的分布、單次抓取的 URL 條數、404 與 5xx 的比例。搜尋平台提供的抓取統計只能作為參考，因為它往往有延迟和抽样。两邊结合起来，才能判断是入口頁不够、還是入口頁够但單頁連結太多導致跟進率低。
規模配比的目标不是“让搜尋引擎全部收錄”，而是让發現路径稳定、可维護、可回退。任何抓取和收錄结果都不由我們單方面决定。
小结
入口頁數量和單頁連結數都属于“适度最好”的項。數量偏少會拖慢發現並带来單点風險，數量偏多會摊薄抓取並推高维護成本。比較實际的路径是：小批量起步、單變量調整、用日誌判断，再逐步放大。