经常有人问，入口页上放多少条目标链接才合适。这个问题没有统一数字，因为搜索蜘蛛每次抓取能顺带处理多少链接，取决于入口页本身的可抓取性、被抓频率，以及目标 URL 所在站点的整体情况。不过可以给出一套判断思路，把数量调到和自己站点的实际抓取能力匹配。
先分清一次抓取和一次发现
搜索蜘蛛抓到入口页，只是把页面里符合条件的链接放进待抓取队列。能否真的去抓这些目标 URL，还要看队列里已经排了多少任务、目标 URL 之前是否抓过、站点对搜索引擎的响应是否稳定。也就是说，页面里放了 500 条链接，不等于这 500 条都会在同一天被抓。
影响实际处理量的几个因素
- 入口页自身的抓取频率：被爬得勤的页面，单位时间内能带出去的链接自然更多。
- 页面里链接的形态：普通 a 标签最省事；需要执行 JavaScript 才能出现的链接，处理成本更高。
- 目标 URL 的历史：已经抓取过且内容没有变化的 URL，重复出现时优先级通常更低。
- 入口页的响应速度：响应慢或经常超时，抓取预算会先被消耗在等待上。
- 目标站点的响应情况：目标站经常返回 5xx 或超时，会让蜘蛛降低对相关 URL 的抓取意愿。
数量上的一个务实做法
- 新入口页先放几十条，而不是一上来就几百上千条，观察日志里实际被抓的比例。
- 只放你真正想让蜘蛛发现的 URL，不要把导航、版权页、登录页这类无关链接混进去。
- 分批次更新，每次新增少量链接，而不是整页一次性全量替换。
- 旧链接先保留一段时间，确认对应 URL 已经进过抓取队列后再决定是否移除。
- 记录每次改动日期，方便和日志里蜘蛛访问的时间点对齐，判断改动是否带来变化。
怎么判断放多了还是放少了
看日志里两个指标就够了：入口页本身被访问的次数，以及页面中目标 URL 被单独抓取的次数。如果入口页被反复抓取，但目标 URL 几乎没有新增抓取记录，说明链接要么没被发现，要么被发现后排在队列很靠后的位置。这种情况下，减少无关链接、提高入口页本身的内容质量，往往比继续往上加链接更有效。
反过来，如果入口页本身的抓取频率就很低，即使只放十几条链接也未必处理得完。这时候该先解决的是入口页为什么不被频繁抓取，而不是纠结链接数量。
链接数量只是变量之一。入口页的可信度、稳定性、更新节奏，通常比单纯堆链接影响更大。
小结
把入口页的链接数量理解成一个需要试出来的参数，而不是一个固定答案。先用较小数量开始，用日志观察实际被抓的比例，再按批次逐步调整。测试期间保持入口页结构、内容模板和响应时间稳定，这样日志里的变化才容易归因，否则很难判断是数量起作用，还是别的地方改了。