做入口页的时候，很多人会习惯性把能放的目标链接全塞进同一个页面，理由很直接：一个页面能放下几十条链接，那搜索蜘蛛来一次就能顺带发现几十个目标 URL。但真正跑一段时间后会发现，抓取量并没有随链接数量一起涨，有些入口页放了很多链接，日志里实际被跟进的却只有前面一部分。
搜索蜘蛛跟进链接不是按条数结算
搜索蜘蛛抓到一个页面后，确实会解析页面上的链接，但接下来去抓哪些、抓多少，取决于它给这个站点分配的抓取预算，以及它对页面上各条链接优先级的判断。链接多，只意味着候选池变大，并不意味着每个候选都会立刻被访问。
对于平时抓取量本来就不高的站点，一个页面塞太多链接，结果往往是单条链接被访问的机会被摊薄。入口页的链接数量影响的是抓取机会如何分配，而不是决定抓取总量。
哪些因素会让搜索蜘蛛更愿意跟一条链接
- 链接放在正文主内容区，周围有相关文字说明，比堆在页脚、侧栏的一长串裸链接更容易被当作有效导航。
- 锚文本能描述目标内容，而不是“点击这里”“更多”这类没有信息量的文字。
- 同一个目标 URL 在页面里只出现一次。重复出现不会增加权重，反而让页面显得冗余。
- 入口页本身能被正常抓取、加载稳定，搜索蜘蛛不需要反复回来重试。
- 链接指向的 URL 可访问、返回正常状态码。频繁抓取失败会降低后续对这个页面链接的信任度。
链接数量的影响，更多体现在分配上
并没有一个“每个页面最多跟进 N 条链接”的硬性规则，网上流传的“超过 100 条就不抓了”其实是对早期经验的误传。更接近实际情况的是：页面链接越多，单条链接分到的抓取机会越少；当页面整体质量一般时，排在后面的链接可能长期得不到访问。所以问题不是“能不能放”，而是“放了之后希望哪几条先被看到”。
分层比堆量更实用
- 入口页只放优先级最高的少量目标 URL，比如 5 到 15 条，配上简短说明。
- 需要覆盖更多目标时，另做二级入口页，用第一层入口链接过去，让抓取一层层展开。
- 同一批目标 URL 可以分散到多个入口页，避免所有链接挤在一个页面上。
- 重要的目标 URL 放在更靠前、更接近正文的位置。
怎么判断链接有没有被跟进
最直接的办法是看站点日志，用搜索蜘蛛的 UA 和 IP 段去筛，看目标 URL 是否出现过抓取记录。如果入口页被访问了，但目标 URL 一直没有任何记录，可以先检查链接是不是真的可以点击、是不是被脚本或样式藏住了，也可以确认页面是否用了 nofollow 之类的设置。同时留意目标 URL 返回的状态码，持续返回错误会让搜索蜘蛛减少回访。
链接数量只影响候选池的大小，真正决定抓取的是页面本身的质量、链接的位置和站点整体的抓取预算。
别把链接数量当成唯一变量
入口页的作用，是给目标 URL 提供一条能被发现的路径，它不是刷抓取的工具。与其在一个页面上反复加链接，不如先把入口页本身做得能被正常抓取、内容能读、结构清晰，再把目标 URL 按重要程度分层放置。另外要分清，链接被跟进和目标 URL 被收录是两件事，链接被访问之后能不能进入索引，还要看目标页面自己的内容。