很多做蜘蛛池和站点运营的人有一个直觉：入口页放的链接越多，搜索蜘蛛能看到的 URL 就越多，抓取机会自然也越多。这个直觉只对了一半。搜索蜘蛛确实会沿着链接去发现 URL，但它每次来访愿意投入的资源是有限的，链接数量超过这个限度之后，多出来的部分并不是白送的。
抓取预算不是固定配额，但也不是无限
搜索蜘蛛对每个站点大致有一个抓取容量，站点响应速度、页面总量、历史抓取效果、内容更新情况都会影响它。这个容量会随站点质量变化，但短期内相对稳定。换句话说，一段时间内能抓多少个 URL 是有上限的，只是这个上限不对外公布。
入口页的出站链接数量，直接影响的就是这批链接怎么分掉这个容量。
链接太多时，实际发生的三件事
- 单条链接被跟到的概率下降。搜索蜘蛛往往不会把一个页面上的所有链接都抓完，链接越多，每条被排进队列的机会越低。
- 重要目标 URL 被稀释。如果入口页里混着大量低价值链接，真正需要被发现的目标 URL 和它们排在同一个池子里，没有优先级。
- 入口页自身处理变慢。页面体积和 DOM 复杂度上去以后，抓取和解析都更费资源，回访频率也可能下降。
怎么判断是链接太多，而不是别的问题
- 先看日志里搜索蜘蛛对入口页的抓取频次，和之前相比有没有明显下滑。
- 再看入口页每次被抓取时，后续有多少条目标 URL 真的被跟到，算出大致比例。
- 把单个入口页的链接数量砍到一半以内，观察一到两周，再对比目标 URL 被抓取的数量。
- 如果目标 URL 被正常抓取却不进索引，问题多半不在链接数量，而在内容或站点本身。
更务实的做法
- 单个入口页的出站链接控制在可评估的范围内，先保证链接有效、可抓，再谈数量。
- 按用途给入口页分组，核心目标 URL 单独放一批页面，不要和低质量链接混在一起。
- 定期清理死链、跳转链和参数堆叠的 URL，它们会持续消耗抓取资源。
- 用 sitemap 和提交接口做补充，但不要指望它们完全替代页面链接。
蜘蛛池解决的是被发现的问题，不是被收录的问题。链接数量只是其中一个变量，抓取质量、站点响应速度和内容本身同样重要。
最后提醒一句：不要用链接数量去推算抓取量，也不要把结果当成可以承诺的目标。比较稳妥的方式是先固定入口页结构，每次只调整一个变量，看一到两周日志再决定加还是减。