搭建入口页时，很多人的第一反应是“链接越多越好”——反正一个页面能列几千条 URL，蜘蛛来一次就能带走一大批。实际运行一段时间后会发现，抓取量并没有随链接数线性增长，有些入口页甚至越堆越少被抓。这篇把链接数量和抓取之间的关系说清楚。
搜索蜘蛛没有“每页链接上限”，但有抓取预算
先澄清一个流传很广的说法：Google、Bing 都没有公开过“一个页面最多多少个链接”的硬性数字，所以并不存在“超过 100 个链接就不抓”这种规则。
但另一件事是真实存在的：每个站点、每个目录在单位时间内能被抓取的次数有限，也就是常说的抓取预算。入口页里的链接再多，蜘蛛也不会在一个时间窗内把每一个都访问一遍，它会挑一部分先抓，剩下的留到后续。
链接堆到几千条时，通常会出现这些变化
1. 单条链接被跟进的概率下降
同样是抓一次，页面里有 50 个链接和 5000 个链接，蜘蛛对每条链接的“注意力”完全不是一个量级。链接越多，越靠后、越没特点的 URL 越容易被跳过。
2. 入口页自己吃掉了抓取配额
入口页本身也要被抓、被重新抓。如果它体积很大、每次访问内容还不一样，蜘蛛花在它身上的时间更多，留给其他页面和目标站点的配额相应减少。
3. 容易被打上“链接列表页”的标签
如果入口页几乎只有一长串链接，没有正文、锚文本高度重复、结构千篇一律，它更像一个导航或索引页。这类页面不是不能用，但指望它获得很高的抓取优先级并不现实。
比“放多少”更值得先解决的三件事
- 链接是否在初始 HTML 里。用 JavaScript 渲染出来的链接，发现概率本来就低于直接写在 HTML 里的 a 标签。
- 锚文本是否有差异。几千条一模一样的“点击这里”“查看更多”，对判断链接价值几乎没有帮助。
- 目标页面是否可达。入口页里大量 404、403 或跳转链，会明显拖慢蜘蛛在这个页面上的推进速度。
相对稳妥的做法
- 单页链接数控制在一个可读的范围，几十到一两百条，通常比一口气堆几千条更容易被完整跟进。
- 把链接按主题、频道或时间分组，拆成多个入口页，页与页之间用普通链接串起来。
- 每个入口页保留一小段正文，哪怕只是分类说明，让页面看起来有内容而不是纯列表。
- 同时提交站点地图，让蜘蛛除了顺着链接爬，还有一条独立的发现路径。
- 新链接尽量放在页面靠前、变化明显的位置，旧链接沉下去，避免蜘蛛认为“这页早就抓过了”。
怎么判断自己的入口页是不是放过头了
最直接的办法是看服务器日志：统计某个入口页被抓取的总次数，以及其中有多少次抓的是它里面的目标 URL。如果入口页被反复抓取，但里面的链接很少被跟进，说明页面本身在消耗配额，而链接没被当成重点。
另一个信号是新增链接的抓取延迟。如果新加进去的 URL 要等很久才有第一次访问，而减少单页链接数之后延迟缩短，基本可以判断之前是放得太多。
链接数量只解决“有没有机会被发现”，不解决“值不值得留下”。入口页的作用是提供发现路径，最终能不能进入索引，取决于目标页面本身的质量和可访问性。
所以，入口页不必追求单页链接越多越好。把链接放在能被解析的位置、保持锚文本和分组的差异、用日志观察实际抓取结构，比单纯堆数量更有意义。