做蜘蛛池投放的人，经常会有一种直觉：入口页上放的链接越多，被搜索蜘蛛发现的目标 URL 就越多。于是有人把同一个入口页塞进几百甚至上千条链接，期待一次抓取全部带走。实际日志里的结果往往不是这样——入口页被频繁抓取，但目标 URL 的覆盖并不成比例。这篇文章说清楚入口页链接数量和搜索抓取之间的关系，以及更稳妥的做法。
搜索蜘蛛不会只抓前 N 条，但抓取会衰减
先明确一点：搜索引擎并没有公布单页链接数量上限。所谓的忽略，通常不是硬性截断，而是抓取资源分配的结果。蜘蛛解析一个页面后，会对链接排队，能不能抓到、什么时候抓到，取决于页面本身的抓取频次、链接在页面中的位置、链接是否可正常解析，以及目标 URL 的历史表现。
当入口页链接数量远超这个页面的抓取价值时，排队就会变长。日志里常见的表现是：入口页被抓了，但当天只带走了一小部分目标 URL，剩下的要等下一轮甚至更久。
真正影响链接被跟的几个因素
- 链接是否可解析：必须是带 href 属性的普通 a 标签链接，JS 注入、需要点击触发、被 nofollow 标记的链接，被跟的概率都会明显下降。
- 链接位置：正文内、主体区域的链接，通常比页脚、侧边栏大量堆叠的链接更容易被优先处理。
- 入口页本身的质量：一个长期不更新、内容稀薄的入口页，抓取频次本身就低，放再多链接也带不走。
- 目标 URL 的响应：目标页返回 5xx、长时间超时，会拖慢整批链接的处理节奏。
链接放多少条比较合适
没有放之四海皆准的数字，但可以按入口页的实际抓取能力来倒推。一个务实的思路是：先看日志，确认这个入口页平均每天被抓多少次、每次大约带走多少条链接，再决定单页放多少条。如果入口页每天被抓两三次，单页放上千条链接，绝大多数链接只能排队等待。
对多数中小站点来说，把单页链接控制在几十条到一两百条之间，配合多个入口页分批投放，通常比单页堆量更稳。链接之间有主题相关性、指向的页面质量接近，也能减少无效排队。
链接过多时常见的几个信号
- 入口页抓取次数不低，但目标 URL 在日志里的出现比例很低；
- 同一批目标 URL 的抓取时间被拉得很长，从几天变成几周；
- 部分目标 URL 只在第一次被抓，之后长期没有再次访问。
出现这些信号时，不要急着加大投放量，先检查入口页链接是否过于密集、是否有大量无效或重复链接。
比堆数量更值得做的几件事
- 把入口页拆成多个，按主题或目录分组，让每个入口页承担有限的链接数量；
- 保持入口页有正常的内容更新，而不是只作为链接列表存在；
- 分批投放，观察日志中目标 URL 的抓取反馈，再决定下一批的节奏；
- sitemap 与投放各司其职，sitemap 负责稳定提交，入口页负责增加发现路径。
链接数量本身不是问题，问题是入口页能不能承受这些链接带来的抓取排队。把入口页当成链接仓库而不是可抓取页面，通常是效果打折的开始。
回到最初的问题：搜索蜘蛛不会因为你放了 500 条链接就直接忽略整页，但抓取资源有限，链接越多，单条链接被处理到的概率和时间成本就越不可控。与其在单页上堆量，不如把入口页做得更像正常页面，再通过多个入口页和稳定更新来扩大 URL 的发现面。