入口页是蜘蛛进入蜘蛛池的第一跳。链接放得太少，URL 被发现的机会就少；放得太多，页面变重、解析成本上升，蜘蛛可能只抓走其中一部分就离开。所以入口页的链接数量不是越多越好，而是要和页面体量、蜘蛛的抓取习惯、以及你实际要推进的 URL 规模匹配起来。

入口页容量为什么会影响 URL 发现

蜘蛛抓取一个页面时，会先下载 HTML，再解析出其中的链接，然后决定要不要继续跟进。链接列表越长，HTML 越大，解析和去重需要的时间就越长。当链接数量超过蜘蛛愿意处理的范围时，往往只有靠前的一部分被跟进，后面的链接即使存在，也可能长期排在队列末尾。

这不意味着存在一个绝对上限。同样的链接数量，在不同站点、不同页面结构下的表现完全不同。真正要关注的是蜘蛛有没有把链接抓走，而不是这个数字本身好不好看。

一个入口页放多少链接：先看三个约束

1. 页面体积

纯文字链接列表很轻，几百条也不会让页面过大；但如果每条链接都带摘要、缩略图、外链脚本，几十条就可能把页面撑到几百 KB。页面越大，蜘蛛花在下载上的时间越多，留给发现新链接的余量就越少。入口页尽量做成轻量结构，只保留链接和必要的上下文。

2. 蜘蛛实际跟进的比例

可以在服务器日志里看入口页被抓取之后，目标 URL 有多少条真的出现了访问记录。如果投放 200 条、实际只有 30 条被跟进，说明要么链接位置太靠后，要么页面里干扰元素太多。这时候把列表拆成几页，往往比继续加长度更有效。

3. 失效与重复链接

入口页里如果混着大量 404、301 或重复 URL，抓取额度会被这些无效目标消耗掉。投放前先做一轮清理，把已经失效或重复的链接剔出去，比反复调整链接数量更能提升有效抓取。

常见的三种排布方式

• 单页长列表：适合 URL 数量不多、更新频繁的场景，维护简单，但超过一定长度后后半段容易被忽略。
• 分页列表：把链接拆到多页，配合上一页、下一页链接，蜘蛛可以顺着翻页逐层抓取。适合几百到几千条的量级。
• 分层入口：首页只放分类入口，分类页再放具体 URL。层级多一跳，但每层页面更轻，也更容易控制抓取节奏。

分批投放的实操思路

1. 先按业务把 URL 分组，比如按栏目、按更新批次，而不是一股脑全堆上去。
2. 每组先投一小批，观察日志里入口页和目标页的抓取情况，再决定下一批放多少。
3. 入口页的链接顺序按重要程度排，重要的放前面，减少它们排在队列末尾的概率。
4. 新链接是追加到已有入口页，还是新建入口页，选一种坚持用。频繁更换结构，会让蜘蛛重新适应。

几个容易踩的坑

• 把入口页做成前端渲染，链接在 HTML 源码里看不到，蜘蛛拿不到。
• 链接用 JS 事件触发跳转，而不是可直接访问的 a 标签。
• 同一批 URL 在多个入口页反复出现，浪费抓取额度，也容易让蜘蛛把它当成低价值内容。
• 为了容纳更多链接，把入口页塞满无关内容，反而稀释了链接所在的位置。

入口页的容量问题，本质上是抓取额度怎么分配的问题。与其纠结一个页面放多少条，不如先确认蜘蛛是否真的把链接抓走了。

怎么判断当前容量是否合适

看三个数据就够了：入口页的抓取次数、目标 URL 的抓取覆盖率，以及从投放到达之间的时间间隔。如果入口页经常被抓，但目标页覆盖迟迟上不去，就该考虑缩短列表或拆页；如果目标页覆盖稳定、时间间隔也正常，就没必要为了看起来更整齐去改结构。

容量没有标准答案，只有和当前资源、当前 URL 规模匹配不匹配。先小批量验证，再逐步调整，比一次性堆满要稳得多。