泛目录是蜘蛛池里最常见的一种铺量方式：用一套程序按规则批量生成 URL，让每个地址都能独立被访问、独立被爬。它本身只是工具，真正决定结果的是生成规则和边界控制。铺得越多不等于被爬得越多，失控的泛目录往往先拖垮的是自己的服务器和日志判断。
泛目录在蜘蛛池里做什么
它的作用是把“可被发现的 URL”数量放大。蜘蛛顺着入口页的链接或 sitemap 往下走，理论上每个生成的地址都是一次被收录的机会。但搜索引擎对同一个站点能投入的抓取资源是有限的，URL 数量暴增之后，摊到单条 URL 上的抓取次数会明显下降。
常见的 URL 生成规则
- 关键词组合：用词库交叉组合出长尾形式，例如“地区 + 服务 + 修饰词”。
- 地区与城市枚举：按行政区或城市名批量拼接，容易产生大量内容雷同的页面。
- 拼音与数字后缀：纯编号型地址生成快，但对蜘蛛没有语义价值。
- 分页与筛选参数：把列表页的分页、排序参数也放开，URL 会成倍膨胀。
- 多级目录拼接：层级越深，单条 URL 被重新访问的概率越低。
蜘蛛面对海量 URL 时的实际反应
多数情况下蜘蛛会抽样抓取，而不是照单全收。它会优先选择内链较多、更新较频繁、返回状态正常的地址。如果大量生成的页面内容几乎一致，蜘蛛抓过一批之后就会降低该目录的抓取频率——这时候日志里看起来“蜘蛛还在来”，但被重新爬取的 URL 越来越少。
哪些信号说明泛目录已经失控
- 日志里 200 状态的 URL 数量很大，但被反复抓取的只有少数几条。
- 同一套模板产出的页面标题、正文高度重复，页面之间没有区分度。
- 出现大量参数组合、无内容页面，蜘蛛抓完一次就不再回访。
- 服务器响应变慢，抓取请求被限速或超时截断。
- 抓取深度变浅，只停在目录首页或前几页。
把边界定下来的几个动作
- 先定有效页面的上限：按能持续维护的内容量倒推 URL 数量，而不是按程序能生成多少来定。
- 只让有内容的地址返回 200：空页、无匹配结果的组合页返回 404 或 410，不要用 200 硬撑。
- 用 robots 或参数过滤收敛：把排序、筛选这类无实际内容的参数屏蔽掉，减少无效抓取。
- sitemap 只放真实存在且值得收录的 URL：不要把生成器输出的全量列表直接提交。
- 控制层级：从入口页到目标页尽量保持在两到三层，层级越深越容易被放弃。
- 分批上线并观察：新增一批地址后看日志里的抓取分布变化，再决定下一批的规模。
几个常见的误区
一是把“URL 数量”当成“收录机会”，忽略了抓取预算是共享的。二是认为返回 200 就比 404 好，实际上把空页伪装成正常页面，只会让蜘蛛对该目录的整体质量评价下降。三是把泛目录当成一次性动作，上线之后不再清理，时间一长目录里堆积大量失效地址，反而稀释了有效页面的抓取机会。
泛目录的价值不在生成了多少 URL，而在其中有多少条值得蜘蛛反复回来看。数量只是入口，内容质量才是它愿意留下来的理由。
更稳妥的做法是把泛目录规模控制在自己能持续维护的范围内，定期清理无效地址，并把蜘蛛的抓取分布当作调整依据，而不是只盯着每天的来访次数。