入口页一次性挂上几百上千个目标 URL，是很常见的做法。但不少站长会发现，几天后去看日志，只有一部分链接被搜索蜘蛛访问过，剩下的一直没动静。这通常不是“蜘蛛没来”，而是它在一次抓取里只处理了一部分链接。
抓取预算更像一种额度感，不是官方数字
搜索引擎没有公开过“一次抓多少链接”的具体数量。实际表现大致受几个因素影响：入口页所在站点的整体可信度和历史抓取表现、服务器响应速度、入口页更新频率，以及上一次抓取时是否顺利。响应越快、报错越少、内容越稳定，蜘蛛愿意在同一个页面停留并跟进更多链接的可能性就越大。
同一个页面里，蜘蛛更可能先抓哪些链接
在入口页内部，链接并不是平均分配的。通常会被优先处理的包括：
- 出现在 HTML 靠前位置、正文区域里的链接；
- 页面里有上下文、有文字说明，而不是孤立堆在页脚或侧栏的链接；
- 指向历史抓取成功率高、返回状态码正常的域名；
- 入口页被反复抓取时，上一轮没处理完、但看起来有变化的链接。
反过来，塞在大量重复导航里、由 JavaScript 后置渲染、指向一批慢速域名的链接，被推后的概率更高。
链接多的时候，剩下的会被漏掉吗
一般是分批次处理，而不是一次性丢弃。这次没抓完，下一次再来时可能从上次的进度继续，也可能因为页面结构变化重新判断优先级。所以“当天没看到”不等于“永远不会看到”。但如果你每次更新都把旧链接清空、页面结构频繁大改，蜘蛛累积下来的判断就会不断被打断，发现效率反而下降。
想提高发现效率，可以做的几件事
- 控制单页链接总量，把最想被发现的 URL 放在靠前、有上下文的位置；
- 保证入口页本身响应快、状态码稳定，少出现 5xx 和超时；
- 入口页保持稳定的更新节奏，不要一天改一次结构；
- 页面上的链接尽量用正常的 a 标签，能直接抓到就不要依赖脚本渲染；
- 配合 sitemap 和站内其他页面一起指向目标 URL，多给一条发现路径；
- 用服务器日志和搜索资源平台的 URL 检查工具，确认哪些真的被抓过。
怎么核对实际抓取情况
最直接的办法是拿入口页的链接清单，去比对服务器日志里搜索蜘蛛的访问记录。日志里出现某个 URL，只说明蜘蛛请求过，不等于已经被收录或进入索引。没有出现的链接，可以先检查它是否在页面前段、是否被脚本包裹、是否返回了错误状态码，再决定要不要调整位置或换一种呈现方式。
抓取预算、发现速度这些概念，都只能作为优化方向的参考。任何方法都只能提高被发现的概率，不能保证搜索蜘蛛一定抓取，也不能保证一定被收录。
把入口页当作一个正常的、对用户和蜘蛛都友好的页面来维护，比追求“一次挂满”的做法更稳。数量堆到极致，反而容易让每一批链接都排在后面。