很多人做蜘蛛池时，习惯把能想到的 URL 全部堆到入口页上，觉得放得越多，被发现的概率越大。实际跑一段时间后常会发现，链接堆得最满的那个页面，目标页反而迟迟没有动静。原因不复杂：入口页承载的链接越多，单个链接能分到的抓取机会越少，页面本身的主题也越模糊。这篇聊的是入口页的容量问题——一个页面大概放多少目标 URL 更合适，超了之后该怎么拆。
为什么入口页会存在容量上限
蜘蛛抓取一个页面后，会从页面里提取链接并放进待抓队列。这个队列不是无限的，它受站点整体权重、抓取预算、页面响应速度共同影响。入口页上的链接越多，排在后面的链接被跟进的时间就越晚，轮到的概率也被摊薄。
另一个容易被忽略的点是主题集中度。一个入口页如果同时挂着新闻、商品、下载、活动、论坛帖，蜘蛛很难判断这个页面到底在讲什么，页面本身能获得的抓取频率也上不去。相反，链接都指向同一类内容的入口页，反而更容易被稳定抓取。
几个可以参考的数量区间
- 30–80 条：多数中小站点的入口页落在这个区间比较稳，链接容易被抓到，页面主题也不至于散。
- 100–200 条：前提是入口页本身已经有稳定的抓取频次，服务器响应快，页面内容不是纯链接列表。
- 超过 300 条：建议拆分。可以按主题或页面类型分成多个入口页，而不是硬撑在一个页面上。
这些数字只是参考区间，不是标准。真正决定承载量的是入口页自己的抓取反馈，而不是别人的经验值。
除了数量，还要看链接密度与分布
同样放 100 条链接，分布方式不同，效果差别很大。可以留意几个细节：
- 正文内容与链接的比例。整页几乎全是链接、没有实质文字，蜘蛛对页面的价值判断会偏低。
- 链接是否集中在页面前半部分。后半部分如果长期处于折叠或懒加载状态，可能根本不会被抓取到。
- 同一个目标域名在一页里重复出现多少次。同一域名刷太多条，实际收益很小，还挤占了其他链接的位置。
- 是否每段都插链接。段落被链接切碎之后，页面读起来更像链接堆。
入口页该怎么拆分
- 按主题分组。把内容相近的目标页归到同一个入口页，让页面有一个大致清晰的方向。
- 按目标页类型分组。新 URL、老 URL、活动页的抓取需求不同，混在一起会让优先级的判断失效。
- 每个分组给一个独立入口页，各自维护更新节奏，互相不干扰。
- 入口页之间保持极少的互链，或者干脆不互链，避免蜘蛛在两三个页面之间来回打转。
- 上线后先观察日志，再决定要不要合并或继续细分。
承载量不是一次定死的
比较常见的做法是先小批量上线，再按抓取反馈加量。可以看几个信号：入口页被抓取后，目标页在多久之后有第一次抓取；目标页被抓到的比例大概是多少；入口页的抓取频次有没有随着链接增加而下降。
如果入口页每天都被抓，但目标页长期没有动静，通常说明两个问题之一：链接太多导致排队靠后，或者路径太深导致蜘蛛跟不动。这时候应该减量或拆页，而不是继续往里加。反过来，如果目标页很快就被跑完一轮，入口页的抓取频次也还有余量，那可以适当增加一些链接。
容量是跑出来的结果，不是事先设定的参数。一次堆满看起来省事，但出了问题很难判断是链接的问题、路径的问题，还是内容的问题。
常见的几个误区
- 以为链接越多，发现越快。实际是排在后面的链接被跟进的间隔被拉长。
- 一个入口页塞进所有类型的 URL，图省事，结果页面主题全散。
- 只加不减。老 URL 已经抓过很多次，还长期占着位置，新 URL 反而排不上。
- 为了凑数写大量无意义的锚文本，链接是有了，页面质量却下去了。
把入口页当成一个需要维护的页面，而不是一个链接容器，容量这个问题其实就好处理了：先确定它负责哪一类目标页，再根据抓取日志慢慢调到合适的量级。