很多做蜘蛛池和站点运营的人有一個直觉：入口頁放的連結越多，搜尋蜘蛛能看到的 URL 就越多，抓取机會自然也越多。這個直觉只對了一半。搜尋蜘蛛确實會沿着連結去發現 URL，但它每次来訪愿意投入的资源是有限的，連結數量超過這個限度之後，多出来的部分並不是白送的。
抓取预算不是固定配額，但也不是無限
搜尋蜘蛛對每個站点大致有一個抓取容量，站点响應速度、頁面總量、歷史抓取效果、内容更新情况都會影响它。這個容量會随站点质量變化，但短期内相對稳定。換句话说，一段時間内能抓多少個 URL 是有上限的，只是這個上限不對外公布。
入口頁的出站連結數量，直接影响的就是這批連結怎么分掉這個容量。
連結太多时，實际發生的三件事
- 單條連結被跟到的概率下降。搜尋蜘蛛往往不會把一個頁面上的所有連結都抓完，連結越多，每條被排進队列的机會越低。
- 重要目标 URL 被稀释。如果入口頁里混着大量低價值連結，真正需要被發現的目标 URL 和它們排在同一個池子里，没有優先級。
- 入口頁自身處理變慢。頁面体积和 DOM 复杂度上去以後，抓取和解析都更費资源，回訪频率也可能下降。
怎么判断是連結太多，而不是別的問题
- 先看日誌里搜尋蜘蛛對入口頁的抓取频次，和之前相比有没有明顯下滑。
- 再看入口頁每次被抓取时，後續有多少條目标 URL 真的被跟到，算出大致比例。
- 把單個入口頁的連結數量砍到一半以内，观察一到两周，再對比目标 URL 被抓取的數量。
- 如果目标 URL 被正常抓取却不進索引，問题多半不在連結數量，而在内容或站点本身。
更務實的做法
- 單個入口頁的出站連結控制在可评估的范围内，先保證連結有效、可抓，再谈數量。
- 按用途给入口頁分组，核心目标 URL 單獨放一批頁面，不要和低质量連結混在一起。
- 定期清理死鏈、跳轉鏈和參數堆叠的 URL，它們會持續消耗抓取资源。
- 用 sitemap 和提交接口做补充，但不要指望它們完全替代頁面連結。
蜘蛛池解决的是被發現的問题，不是被收錄的問题。連結數量只是其中一個變量，抓取质量、站点响應速度和内容本身同样重要。
最後提醒一句：不要用連結數量去推算抓取量，也不要把结果当成可以承诺的目标。比較稳妥的方式是先固定入口頁结构，每次只調整一個變量，看一到两周日誌再决定加還是减。