很多人在搭入口页时习惯一次性铺几十上百条目标链接，觉得“链接越多，被发现的机会越大”。实际看一段时间日志后常常发现：搜索蜘蛛只抓了最前面几条，后面的链接反复出现在页面里，却始终没有请求记录。这通常不是蜘蛛“没看见”，而是抓取预算在起作用。
搜索蜘蛛不是“看到链接就抓”
搜索蜘蛛访问一个页面时，会把解析到的链接放进待抓队列，但队列里的 URL 并不会等量地被消耗。同一个域名下的抓取总量在单位时间内是有上限的，蜘蛛会在这个上限内做取舍：优先抓取它认为更值得抓的页面。
所以入口页上放 10 条链接和放 100 条链接，被实际请求的数量可能并没有差 10 倍。多出来的部分只是躺在队列里排队，排到什么时候，取决于该域名整体的抓取额度。
抓取预算大致由哪些因素决定
- 站点整体表现：历史抓取成功率、返回错误的比例、页面平均响应时间。
- 入口页自身质量：内容是否稳定、是否有更新、结构是否清晰。
- 服务器承载能力：响应慢或频繁超时，会直接压低单位时间内的抓取量。
- 待抓 URL 总量：同一域名下积压的 URL 越多，分到单条链接上的机会越少。
- 链接出现的位置与形式：正文里的普通超链接，通常比折叠区、脚本输出的链接更容易被跟进。
一个入口页放多少条目标链接比较合适
刚上线、还没稳定被抓取的入口页
建议从少量开始，比如 5～15 条，先确认蜘蛛确实会来、确实会跟进，再逐步增加。这个阶段的目标是建立抓取习惯，而不是一次铺满。
已经被稳定抓取的入口页
可以适当增加，但也不建议无限堆。当页面链接超过几百条，且大部分指向同一目标域名时，抓取分配会明显被稀释。更常见的做法是拆成多个页面，每页控制在几十条以内。
链接过多时常见的几种现象
- 日志里只有入口页本身的请求，没有任何目标 URL 的请求。
- 每次抓取只覆盖固定的一小段，后面的链接长期不被触达。
- 抓取间隔越拉越长，说明该域名的额度被其他内容占走了。
- 部分链接被抓一次后不再回访，因为优先级已经下降。
更稳的做法：分批与分层
- 把大批目标 URL 拆成若干组，分布到多个入口页。
- 入口页之间做简单分层：列表页指向若干详情页，详情页再放出目标链接。
- 每轮新增链接后，隔几天看一次日志，确认上一批已经被触达，再加下一批。
- 发现某条链接连续多轮都没被请求，先检查它是否可正常访问、是否被 robots 规则挡住，再考虑换位置或换承载页面。
抓取预算决定的是“先抓谁、能抓多少”，而不是“能不能收录”。链接被请求只是流程中的一步，与后续是否进入索引是两件事。
小结
入口页的价值在于提供持续、稳定的发现路径，而不是比谁的链接多。控制单页链接数量、保证页面能正常打开、按节奏分批上线，比一次性堆满链接更容易看到实际效果。