搭蜘蛛池入口页时，最容易出现的一个动作就是“堆链接”：一个页面里塞几十条甚至上百条目标 URL，觉得这样搜索蜘蛛一次进来就能带走更多 URL。这个想法方向没错，链接确实是搜索蜘蛛发现新 URL 的主要路径之一，但页面上能放多少条链接，和这些链接最终会不会被抓，并不是同一件事。
没有官方规定的链接数量上限
搜索引擎从来没有公开说过“一个页面最多只能有 N 条链接”。早期流传的“每页不超过 100 条链接”来自一些老文档的提示性说法，并不是硬性规则。真正起作用的是抓取预算：搜索蜘蛛愿意在你的站点上花多少时间、抓多少个 URL。页面里链接再多，如果预算不够，也只能抓走其中一部分。
所以问题应该换成：在有限的抓取预算下，一个入口页放多少条链接，能让我关心的目标 URL 被发现的概率最高。数量本身不重要，有效链接的比例才重要。
链接越多，边际效果越差
- 页面体积变大。链接堆多了，HTML 可能从几十 KB 涨到几百 KB，搜索蜘蛛读取和解析的成本上升。
- 单条链接获得的关注被稀释。链接被爬的先后顺序受位置、上下文和页面整体质量影响，排在后面的链接更靠后。
- 重复和失效链接比例升高。手工维护的入口页，堆得越多，越容易出现死链、重复 URL、带一堆参数的地址。
- 页面看起来更像“链接列表”，而不是有内容的页面，长期看对入口页本身的抓取频率没有帮助。
决定放多少条的几个现实因素
页面体积与加载方式
如果链接是写在 HTML 里的普通 a 标签，几百条也就几十 KB，问题不大；但如果每条链接外面套了复杂的 JS 渲染、图片、统计脚本，页面实际加载成本会高得多。能用静态 HTML 就尽量用静态 HTML。
链接指向的域名分布
一个入口页里混着几个不同域名的目标 URL，和集中指向同一个域名，搜索蜘蛛的处理方式会不一样。跨域链接越多，单个域名分到的抓取机会越少。建议按域名分组，一个入口页集中服务同一批目标站。
目标 URL 本身的状态
放进入口页之前先确认目标 URL 能正常返回、不是重复内容、不是已经被抓过的老页面。入口页里如果有一半链接指向打不开或返回异常的地址，搜索蜘蛛后续再来这里的意愿会下降。
实操建议：从少量开始，按反馈调整
- 第一版先放 20~50 条，优先放你最希望被发现的 URL，排在页面靠前的位置。
- 观察一到两周，看服务器日志里这些目标 URL 是否出现搜索蜘蛛的访问记录。
- 如果大部分都被抓过，说明当前规模是够的，可以再拆出一个新入口页分担，而不是往同一页继续加。
- 如果只有少部分被抓，先检查链接是否可被正常解析、页面是否返回正常状态码，再考虑调整链接位置，而不是立刻加倍数量。
- 定期清理：把已经稳定被抓取、已经收录的 URL 从入口页移出，给新的目标 URL 腾位置。
入口页的作用是“发现”，不是“收录”。把链接放进去只代表给搜索蜘蛛提供了一条路径，能不能收录还取决于目标页面本身的质量和站点整体情况。
几个常见误区
- 以为链接数量可以直接换抓取量。抓取量由站点整体决定的抓取预算限制，不是入口页写多少就有多少。
- 把所有 URL 塞进一个页面。不如拆成多个入口页，各自承担一部分，单页压力更小。
- 用隐藏链接或大量无意义锚文本凑数。既不利于解析，也容易让入口页被判定为低质量页面。
- 放进去就不再管。入口页需要定期维护，删掉失效链接和已经完成任务的链接。
怎么判断该加还是该减
判断标准不是页面上现在有多少条，而是这些链接有多少真的被搜索蜘蛛抓过。如果日志里能看到目标 URL 被持续访问，当前数量就没问题；如果加了半天链接，日志里却没有对应记录，继续加数量通常不会改变结果，反而应该回头检查入口页是否可被正常抓取、链接是否可被解析。