做蜘蛛池时，最容易犯的一個错是把“規模”当成目标。入口頁越多、域名越多，看起来池子越强，但真正决定效果的，是這些頁面每天能不能被搜尋蜘蛛實际訪問到。規模應该跟着蜘蛛来訪量走，而不是反過来。
先看蜘蛛来訪量，再决定池子多大
在扩容之前，先花一两周看服務器日誌，把下面几個數字弄清楚：
- 日誌里被识別為搜尋蜘蛛的請求，一天大概有多少條；
- 這些請求落在多少個不同的入口頁 URL 上；
- 單個入口頁平均被訪問几次，两次訪問之間隔多久；
- 新加進去的入口頁，從上线到第一次被抓，中間隔了多少天。
如果蜘蛛請求集中在少數几個頁面上，說明池子里的多數頁面還没進入抓取范围，此时繼續加頁，只會摊薄本来就有限的机會。
入口頁數量與域名數量的配比
两個极端都不好：域名很少而入口頁堆得很多，單個域名承担的抓取压力過大；域名很多而每個站只有几頁，頁面之間的支撑太薄，蜘蛛往往抓完首頁就走。
比較稳妥的做法是让每個域名承载几十到几百個入口頁，具体多少要看站点内容的扎實程度、更新节奏和服務器响應速度。數量本身没有标准答案，但“一個域名塞几千個空壳頁”通常是坏信号。
什么信号可以繼續加，什么信号该先停
可以考虑小幅扩容的信号
- 新入口頁上线後几天内能被蜘蛛首次抓取；
- 老入口頁的回訪間隔比較稳定，没有越来越長；
- 蜘蛛的請求分散在多個頁面，而不是只围着几個頁面轉；
- 服務器响應正常，没有明顯的 5xx 或超时。
该先观察、暂缓扩容的信号
- 新增入口頁長期零抓取，日誌里完全看不到；
- 入口頁數量翻了一倍，蜘蛛請求量却没怎么變；
- 單個域名的被抓取比例很低，大部分頁面從没被訪問過；
- 服務器负载和响應時間随扩容一起恶化。
調整規模的几個實操做法
- 分批加。一次加几十到几百個頁面，加完观察一两周再决定下一步，避免一次性上几千頁之後無法归因。
- 留對照组。保留一批不做改動、也不追加内鏈的入口頁，和新增部分對比抓取情况。
- 先补内鏈，再考虑新域名。很多“没被抓”的入口頁，問题在于站内没有任何路径指向它。
- 替換而不是硬堆。長期零抓取、内容也补不起来的頁面，可以直接下线換新，不必留在池子里占位。
規模是结果，不是起点。先让已有的入口頁稳定被訪問，再谈扩大。
几個常见誤区
- 把入口頁總數当成指标，只看數字不看抓取率；
- 認為域名越多越安全，忽略每個域名的内容支撑；
- 只算域名和服務器成本，不算批量维護頁面的時間成本；
- 扩容太猛，出問题时無法判断是哪一批頁面引起的。
小结
蜘蛛池的規模應该由蜘蛛的實际来訪量决定。定期看日誌、算清抓取率，用分批扩容和對照组来驗證，比盲目堆頁面更靠谱。池子小但被吃透，通常比池子大却没人来更有意义。