为什么配比会影响结果
蜘蛛池的作用是给搜索引擎蜘蛛提供可抓取的入口，让它们顺着链接发现目标 URL。入口页和目标页是两类不同角色：入口页负责被蜘蛛抓到并输出链接，目标页负责被蜘蛛记录。两者数量不对等时，问题往往不会立刻显现，但会在日志里慢慢暴露出来。
比如入口页只有几个，却要推几百个目标页，每个入口页上挂着一长串链接，蜘蛛分给每条链接的抓取机会就被摊薄了；反过来，入口页建了几百个，目标页只有十几个，大量入口页在重复输出同一批链接，蜘蛛可能反复抓取相似页面，真正的目标页却没有多得到多少机会。
先分清入口页和目标页
入口页不一定需要很高的内容质量，但它需要可抓取、可解析、有明确的链接出口。目标页则是你真正希望被发现的 URL，可能是文章页、产品页或栏目页。配比讨论的是：用多少个入口页，以什么密度去链接多少个目标页。
配比不是拍一个数字，而是让蜘蛛在有限的抓取次数里，尽可能覆盖到你关心的 URL。
常见的三种配比状态
入口页少、目标页多
这种配置常见于刚开始搭池子的时候：先上线少量入口页，把手上所有目标 URL 都挂上去。结果是单个入口页链接过多，链接位置靠后的目标页很难被单独抓到。如果目标页本身没有其他入口，就容易长期停留在“已提交但未抓取”的状态。
入口页多、目标页少
另一种情况是入口页数量上去了，目标页却没有同步增加。每个入口页都链向同一批 URL，蜘蛛会反复访问这些入口页和少数目标页。入口页之间的模板、链接结构越接近，重复抓取的可能性越高。这种配置不一定有害，但资源利用率偏低。
按主题分组、每组少量链接
相对稳妥的做法是把目标页按主题或目录分组，每组配一批入口页，每个入口页只输出该组内的少量链接。这样蜘蛛从一个入口页进入后，能沿着相对集中的链接继续走，目标页被单独抓取的概率会更高。具体每组放多少链接，需要结合入口页的抓取频率和目标页数量来观察。
一个可操作的起步方法
- 先把目标 URL 列出来，按主题、目录或内容类型分组。分组不必很细，但尽量让同一组内的页面有相关性。
- 给每组目标页分配入口页。可以先用目标页数量除以每组预计链接数，得到一个粗略的入口页数量，再留出一些冗余入口页备用。
- 控制单个入口页的输出链接数量。链接太多会稀释抓取机会，链接太少又需要更多入口页。可以先从一个偏保守的数量开始，观察日志后再调整。
- 让不同入口页的链接组合有所差异。入口页 A 链向目标页 1 到 5，入口页 B 链向目标页 3 到 8，比所有入口页都链向同一批 URL 更有利于覆盖。
- 保留一部分入口页不做满链接，用来后续补充新目标页或替换失效链接。
怎么判断当前配比是否合适
配比是否合适，最终要看抓取日志，而不是看入口页的绝对数量。可以重点观察几个信号：
- 入口页被蜘蛛抓取的比例。如果大量入口页长期没有蜘蛛来访，可能是入口页太多、质量太低，或者它们本身没有被发现。
- 目标页被发现的进度。推了一段时间后，目标页中仍未被抓取的比例有多高。如果比例很高，可能是入口页覆盖不足或链接位置太深。
- 蜘蛛在入口页和目标页之间的抓取分布。如果蜘蛛大量停留在入口页，目标页抓得很少，说明入口页可能过于复杂或链接不够明确。
- 重复抓取的占比。同一批入口页或目标页被反复抓取，说明入口页之间的差异不够，或者链接结构让蜘蛛绕回了同一批 URL。
几个容易踩的坑
- 用一个入口页推所有目标页。链接列表过长，靠后的 URL 很难获得单独抓取。
- 所有入口页链接同一批 URL。入口页数量看起来很多，实际覆盖的目标页没有增加。
- 只加入口页，不清理失效链接。死链会浪费蜘蛛的抓取次数，也会影响入口页的可信度。
- 一次性大幅调整配比。入口页数量、链接数量、分组方式同时改，日志变化就无法归因。
小结
入口页与目标页的配比没有通用答案。目标页多、入口页少时，优先考虑增加入口页或减少单页链接密度；入口页多、目标页少时，优先考虑合并入口页或让不同入口页覆盖不同链接组合。每次只调整一个变量，用抓取日志验证，比追求一个固定比例更实际。