很多人做蜘蛛池的第一反應是“量不够”，于是把入口頁從几十個扩到几百、几千個，期待搜尋蜘蛛對目标 URL 的發現速度同步放大。實际观察下来，這條曲线通常不是直线：前期涨得快，之後明顯變平，甚至原地不動。下面说说原因和可操作的做法。
為什么不是“入口頁越多，發現越多”
搜尋蜘蛛的抓取是带预算的。它不會因為你在某台服務器上多挂了几百個入口頁，就临时提高對這台服務器的抓取频次。每個主机、每個網段能分到的抓取次數，大致在一個相對稳定的区間里波動。
除此之外還有几层過滤：
- 模板重复度：同一套模板、只有連結不同的一批入口頁，被抓過几個之後，剩下的很容易被当成重复内容，抓取意愿下降。
- 連結指纹相似：入口頁之間互相連結、指向同一批目标 URL、外鏈结构高度一致，會削弱“這是新内容”的判断。
- 目标 URL 自身的狀態：如果目标站点响應慢、内容單薄、大量重复，蜘蛛即使發現了，也不會立刻抓或反复抓，入口頁再多也推不動。
- 抓取配額竞争：入口頁和目标站点如果共用主机或網段，等于在同一份配額里互相挤占。
决定“放大倍數”的几個變量
同样是加量，有些配置的邊际效果會好一些：
- 入口頁之間内容差异明顯，不是同一段文字換關鍵詞；
- 入口頁分布在不同域名、不同網段，而不是全挤在一個 IP；
- 目标 URL 本身可抓、可索引，站点没有大面积 5xx，也没有把整站挡在 robots.txt 外；
- 增量节奏平稳，比如每天加几十個，而不是一次性甩出几千個；
- 入口頁有稳定的回訪價值，會更新、會新增連結，不是上线後一成不變。
怎么用自己的日誌判断卡在哪一步
不要凭感觉判断“有没有用”，用日誌拆成四段看：
- 蜘蛛是否到過入口頁：看入口頁 URL 有没有出現在日誌里，狀態碼是多少。如果连入口頁都没被抓，問题在上游，扩量没意义。
- 目标連結有没有被解析出来：對比入口頁 HTML 里的目标 URL 數量和日誌里出現的比例。比例低，多半是連結埋太深、靠 JS 生成，或者被脚本挡住。
- 目标 URL 有没有被抓：看目标站日誌里是否出現蜘蛛請求，以及請求的是不是你希望被抓的那批 URL。
- 新增入口頁與新增被抓 URL 的比例：把每周新增的入口頁數量和新增被抓的目标 URL 數量画成两條线。如果第二條线早早走平，就說明扩量已经進入低效区間。
更實际的做法
與其一味堆數量，不如先把“單位入口頁的产出”做上去：
- 先小批量測試，观察 3 到 7 天的日誌，再决定是否扩量；
- 控制模板复用比例，同一套模板不要批量铺太多；
- 入口頁本身寫点有用的内容，哪怕是简短的說明、目錄、對比，也比纯連結堆砌好；
- 分批、分散地铺，避免同一時間、同一 IP 上出現大量同构頁面；
- 目标站点自身把可抓取性做好：狀態碼正常、内鏈清晰、重要頁面別藏太深。
蜘蛛池能影响的是“被發現”這一段，抓取和收錄還要看目标 URL 自己的狀態。發現量上不去时，先排查入口頁是否被抓、連結是否被解析，再考虑加量，顺序反了容易白費功夫。
一句话總结：入口頁數量和目标 URL 發現量之間是递减收益的關系。几十個做到位，往往比几千個同质頁面更有用；要扩量，也應该是“先测比例、再加數量”。